全球一些最大、最具創新性的公司已在使用NVIDIA的會話式AI加速功能。在首批使用NVIDIA會話式AI加速能力的企業中，包括了阿里巴巴、百度、滴滴出行、美團、快手、平安、搜狗、騰訊和字節跳動等一些中國最具創新力的領先企業。

搜狗公司為全球使用頻率最高的手機應用程序——微信，提供搜索服務。搜狗首席技術官楊洪濤表示：“搜狗每天通過輸入法、AI硬件、搜索等產品為數億用戶提供語音、圖像、翻譯、對話以及問答等優質的AI服務，我們使用NVIDIA TensorRT推理平臺實現線上實時快速的服務響應，領先的AI能力顯著提升了我們的用戶體驗。”

美團搜索與NLP部負責人王仲遠表示：“通過我們領先的生活服務電子商務平臺，美團每天為數千萬用戶提供餐飲、外賣、打車、共享單車、酒店旅游、電影、休閑娛樂等生活服務，借助于NVIDIA 推理解決方案，我們只需要4毫秒就能很好地了解用戶的意圖，從而通過搜索、智能助理 、智能客服等系統更快的滿足用戶的生活服務需求，用最先進的會話式AI技術帶來了更出色的客戶體驗?！?/p>

遞歸神經網絡變得日益重要

TensorRT 7加快了AI模型的領域擴展。這些模型被用于預測使用遞歸循環結構（RNN）的時間序列、數據情景。除了用于會話式?AI語音網絡之外，RNN還可以幫助規劃汽車或衛星到達時間、預測電子病歷中的異常情況預測金融資產和識別欺詐。

RNN配置和功能組合的爆炸式增長為快速部署可以滿足實時性能標準的生產代碼帶來了挑戰，使得開發者需要花費長達數月的時間創建手寫代碼優化，從而使得會話式AI僅局限于擁有必要專業人才的少數公司。

通過TensorRT的新型深度學習編譯器，全球各地的開發者能夠將這些網絡（例如定制的自動語音識別網絡以及用于文本-語音轉換的WaveRNN和Tacotron 2）實現自動化，并實現最佳的性能和最低的延遲。

新的編譯器還能優化基于transformer的模型，例如用于自然語言處理的BERT等。

從邊緣到云，為推理提供加速

TensorRT 7可以快速優化、驗證并部署經過訓練的神經網絡，為超大型數據中心、嵌入式或汽車GPU平臺提供推理能力。

NVIDIA的推理平臺，包括TensorRT以及多個NVIDIA CUDA-X AI? 庫和NVIDIA GPU，不只能為會話式AI提供低延遲、高吞吐量的推理能力，也同樣能為包括圖像分類、欺詐識別、分割、目標檢測和推薦引擎在內的其它應用提供低延遲、高吞吐量的推理能力。?該平臺的各項能力已被一些世界領先的企業和消費技術公司廣泛使用，其中包括阿里巴巴、美國運通（American Express）、百度、PayPal、Pinterest、Snap、騰訊和Twitter。

供應方式

TensorRT 7 將在未來幾天內開放訪問，以用于開發和部署。NVIDIA開發者計劃成員可通過?TensorRT 網頁免費獲得TensorRT 7。此外，新版本插件、語法分析器和樣本也將作為開放資源，通過TensorRT GitHub 庫提供。

總結

以上是生活随笔為你收集整理的NVIDIA发布全新推理软件，开创交互式会话AI新时代！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。