8 月 22 日消息，清華大學電子工程系日前與字節跳動的火山語音團隊攜手合作，推出一款開源大語言模型 SALMONN。

經過查詢得知，SALMONN 模型支持語音、音頻以及音樂輸入，它可以感知和理解不同類型的音頻內容輸入，并具備多語言語音識別和翻譯以及語音推理等功能。

官方表示，SALMONN 支持語音、音頻以及音樂輸入，它可以感知和理解不同類型的音頻內容輸入，并具備多語言語音識別和翻譯以及語音推理等功能。

官方同時表示，目前 SALMONN 能夠勝任英語語音識別、英語到中文的語音翻譯、情感識別、音頻字幕生成、音樂描述等重要的語音和音頻任務，同時又涌現出多種在模型訓練中沒有專門學習過的多語言和跨模態能力，涵蓋非英語語音識別、英語到（中文以外）其他語言的語音翻譯、對語音內容的摘要和關鍵詞提取、基于音頻的故事生成、音頻問答、語音和音頻聯合推理等任務。

目前該模型已經發布于 GitHub 中，官方同時放出了項目的 Demo 鏈接，感興趣的小伙伴們可以前往了解。

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

總結

以上是生活随笔為你收集整理的清华大学联合字节跳动，开源听觉大语言模型 SALMONN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。