過去我們常聽說“AI 改變世界”，但從普通用戶的角度來說，感知似乎并不明顯，因為 AI 更多是被用在專業領域。

直到最近，生成式 AI 大模型浪潮席卷全球，AIGC 產品噴薄而出，“AI 改變世界”這句話，才仿佛第一次帶來了真實、可感知的震撼。它讓我們普通人也能通過簡單直觀的“輸入-輸出”，就可以用 AI 解疑答惑、甚至是快速生產創作。AI 時代，真的在轟鳴而至了。

不過，我們平時使用各種 AIGC 大模型產品，都需要聯網，換句話說，它是部署在云側的，盡管這樣在性能、模型、算法等方面不用擔心，但問題也很明顯，一方面是服務商需要投入大量的成本，另一方面用戶在使用時也存在延遲、隱私等方面的不足。

而且，說到 AIGC 變革生產力，但現階段我們的核心生產力平臺還是在 PC 而非手機等終端，因此，終端側的生成式 AI，特別是 AI PC，正在受到整個行業越來越多的關注。而這其中，作為芯片巨頭的英特爾就一直是終端側 AI PC 的前沿探索者。

早在 2018 年，英特爾就提出要在 PC 上引入 AI，還推出了“AI on PC Developer Program”的 AI PC 開發者計劃。而當生成式 AI 基本本確定為 AI 2.0 時代后，為了讓 AIGC 能夠更好地在 PC 本地端運行，英特爾也做了很多努力。

比如，在我們傳統的認知里，運行類似 ChatGPT 這種大語言模型必須要有大顯存的顯卡支持。但這種情況已經被英特爾改變。英特爾為了讓 12、13 代酷睿平臺也能夠順利運行各種大語言模型并提供流暢的使用體驗，構建了 BigDL-LLM 庫，這個庫專門針對 Intel 硬件的低比特量化設計，支持 INT3、INT4、INT5、INT8 等各種低比特數據精度，性能更好，內存占用也更少。

通過這個庫，英特爾對各種大語言模型進行了優化和支持，包括一些開源的、可以在本地運行的大語言模型。這個庫甚至可以在一臺搭載 16GB 內存的英特爾輕薄本的機器上運行參數量高達 160 億的大語言模型。此外還支持 LLaMA / LLaMA2、ChatGLM / ChatGLM2 等多個大語言模型。

英特爾也表示，目前的優化主要是針對 CPU，接下來他們還會更加注重對 GPU 核顯性能的優化，讓 GPU 也能在終端側 AIGC 任務中扮演更重要的角色。比如英特爾下一代酷睿處理器 Meteor Lake 中，除了 CPU 架構有重大升級，GPU 核顯性能也會得到強勢提升，將擁有 8 個 Xe GPU 核心 128 個渲染引擎，更增加了 8 個硬件的光追單元，還會引入 Arc 顯卡的異步拷貝，亂序采樣等功能，也對 DX12U 做了優化。

不僅如此，英特爾還在 Meteor Lake 中加入了集成式 NPU 單元，實現更高效能的 AI 計算，它包含了 2 個神經計算引擎，能夠更好地支持包括生成式 AI、計算機視覺、圖像增強和協作 AI 方面的內容。

而且，Meteor Lake 中的 NPU 不是單一孤島式的架構，除了 NPU，CPU 和 GPU 也都可以進行 AI 運算，不同場景下會用不同的 AI 單元去應對，彼此協調，如此一來，其整體能耗比相比前代最多可以提升 8 倍之多。

說了這么多，實際體驗到底怎么樣？今天也為大家做一番測試。這里我們選擇了一臺通過英特爾 Evo 平臺認證的輕薄本：華碩破曉 Air，這款輕薄本搭載英特爾 13 代酷睿 i7-1355U 處理器，16GB LPDDR5 內存。

測試時，我們關閉筆記本的網絡，使用英特爾推出的大語言模型 Demo，來看看輕薄本在本地運行 AIGC 體驗到底怎么樣。

英特爾大語言模型的 Demo 安裝過程很簡單，安裝完成后打開界面我們可以看到左側可以選擇聊天內容、調整模型參數和查看運算延遲，右側則是聊天框。

測試時，小編首先在聊天助手功能下問它“酒桌上領導讓我陪客戶喝酒，但我不能喝，應該如何婉言拒絕？”這款大模型的回答很是出色，而且回答這么長的一段話響應速度也很快，只用了 786.57ms 就完成了響應。

接著小編調到情感分析功能，讓大語言模型分析一段散文所表達的思想情感，在華碩破曉 Air 上離線運行，很快就給出了答案。大模型對這段散文文案的思想情感理解還是比較準確的，而且邏輯自洽。

在運算過程中我們可以看到，英特爾 13 代酷睿 i7-1355U 處理器占用率達到了 100%，內存占用達到了 9.1GB（58%），Xe 核顯占用也達到了 35%。看來這個運算過程確實是在本地進行的。看來在英特爾不斷的優化和 13 代酷睿處理器算力的提升下，確實能夠在輕薄本上實現 AIGC 的落地。

然后小編又使用中文翻譯功能做了測試，英特爾大語言模型的表現同樣讓人驚喜，它的翻譯質量相當高，速度也很快，整個文段基本上沒有什么翻譯錯誤的情況。

接下來再測試一下英特爾大語言模型的故事創作能力，小編讓他寫一個關于孫悟空和葫蘆娃聯手大戰外星人的故事，AI 同樣是很快就寫了出來，延遲只用了 850.37ms，而故事整體有開始有過程也有結尾，時間地點人物事件都很齊全，大體上沒什么問題。

生成大綱方面，小編讓這個大語言模型幫我生成一片關于朱自清《荷塘月色》的教學大綱，它同樣很快就列出了一套邏輯清晰完整，內容詳盡的大綱出來。這確實是一個非常實用的功能，尤其是當它能夠在終端側離線運行后，對于工作有提煉大綱需求的人，比如說老師，即便在沒有網絡的情況下，也能利用 AI 輔助教學工作，非常方便。

最后，小編讓 AI 給出一份去杭州旅游的攻略指南。大模型的生成結果同樣能夠讓人滿意，把杭州最主要值得去的景點都列了出來，跟著這份指南去游玩不會有什么問題。

總體來看，使用華碩破曉 Air 這款英特爾 Evo 輕薄本進行大語言模型的本地化測試，從體驗上來說還是比較令人滿意的，別看他只是一款輕薄本，運行有著 160 億參數的大模型并不吃力，在響應速度和答案的靠譜性方面，和小編平時使用那些云端大模型產品幾乎沒太大差別，有些時候響應速度甚至更快，因為云端大模型在高峰期網絡擁堵的時候，還會出現響應緩慢甚至生成失敗需要重新生成的情況，但在使用華碩破曉 Air 運行英特爾本地大模型時，就不會出現這種情況。

可以說，憑借 13 代酷睿強勁的算力和不斷的算法優化，英特爾是成功地把 AIGC 大規模地引入到了 PC 上，并且能夠在終端側離線運行，讓 PC 用戶們隨時隨地都能獲得來自 AIGC 的創作主力，而不受網絡、峰谷時期的限制，充分證實了他們在 AIGC 領域的領先地位和不斷創新的能力。他們致力于為用戶提供更智能、高效的計算體驗，推動人工智能技術的發展和應用。相信隨著技術的不斷進步和完善，我們可以期待在未來看到更多更強來自英特爾在終端側的 AIGC 應用和解決方案。

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

總結

以上是生活随笔為你收集整理的用酷睿轻薄本运行本地大语言模型，英特尔 AIGC PC 体验有惊喜的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。