因為開源，AI 軍備競賽，谷歌和 OpenAI 全是輸家？

重磅！

谷歌的一份名為《我們沒有護城河，OpenAI 也沒有》的內部文件疑似被泄露，

今天早上，外媒 SemiAnalysis 公布了這份重磅炸彈泄露文件。

據悉，這份文件是一名匿名人士在 Discord 服務器上分享出來的，文件來自谷歌內部的一名研究員，真實性已被確認。

SemiAnalysis 特別強調，這份文件僅代表谷歌員工的意見，不代表整個公司的意見。

內部文件

我們沒有護城河，OpenAI 也沒有

我們一直在嚴密監視著 OpenAI。誰將跨越下一個里程碑？下一步將是什么？

但現在，令人不安的事實就是：我們無法贏得這場軍備競賽，OpenAI 也不能。

就在我們兩方對戰的時候，第三方正在悄悄地吃掉屬于我們的好處。

沒錯，我說的就是開源。說白了，他們已經超越了我們。我們認為的「重大開放問題」如今已經解決，掌握在所有用戶手中。幾個簡單的例子：

• 手機上的 LLMs：在 Pixel 6 上，以每秒 5 個 token 的速度，就能運行基礎模型。

• 可擴展的個人 AI：只要一個晚上，就能在筆記本電腦上微調出一個個性化 AI。

• 負責任的發布：這一點倒是沒有「解決」，說「避免」會更貼切。現在網上到處都是充滿了各種藝術模型的網站，沒有任何限制，開源的大語言模型也不甘其后。

• 多模態：當前的多模態 ScienceQA SOTA，只用一個小時就能訓練出來。

雖然我們的模型在質量上仍然略有優勢，但差距正在以驚人的速度縮小。

這些開源模型更快、更可定制、更私密，性能也更強大。

他們只用 100 美元和 13B 的參數，就能做到我們用 1000 萬美元和 540B 的參數下才能做的事。他們在幾周內完成，而不是幾個月。

這對我們有著巨大的沖擊：

• 我們沒有獨家秘密武器了。最大的希望就是，學習其他人正在做的事，與他們合作。我們應該優先考慮允許第三方集成。

• 當這些免費的、不受限的開源平替具有完全相當的質量，用戶不會再為受限的模型付費了。我們應該考慮下，我們真正的增值在哪里。

• 巨型模型正在減慢我們的速度。從長遠來看，最好的模型是那些可以快速迭代的模型。既然我們知道在參數少于 200 億時模型會有怎樣的可能，我們就應該更關注小模型。

發生了什么

3 月初，隨著 Meta 的 LLaMA 被泄露給公眾，開源社區得到了第一個真正性能強大的基礎模型。它沒有指令或對話調整，也沒有 RLHF。

盡管如此，開源社區立刻明白：他們得到的東西有多么重要。

隨后，大量創新的開源平替模型不斷地涌現出來。每隔幾天，就出現一個大進展。

才短短一個月，就有了指令調整、量化、質量改進、人工評估、多模態、RLHF 這么多功能的變體，許多還是建立在彼此的基礎上的。

最重要的是，他們已經解決了規模的問題，現在任何一個人，都可以參與其中。

如今，許多全新的想法都來自普通人。訓練和實驗的門檻已經大大降低，從前需要一個大型研究機構合力工作，現在，只需要一臺功能強大的筆記本，一個人在一晚上就能搞定。

我們本可以預見到這一切

這對任何人來說，都不算什么驚喜。圖像生成領域的復興之后，緊接著就是開源 LLM 的復興。

許多人說，這就是大語言模型的“Stable Diffusion”時刻。

在這兩個領域，讓公眾能夠以低成本參與，都是通過低秩適應（LoRA）來實現的。它讓微調機制的成本大大降低，

還實現了模型規模的重大突破。（比如圖像合成的 Latent Diffusion，LLM 的 Chinchilla）

在獲得足夠高質量的模型后，世界各地的個人和機構都開始了一系列對模型的創新和迭代。而這些創新，也迅速超越了大科技公司。

在圖像生成領域，這些貢獻至關重要，使 Stable Diffusion 走上了與 Dall-E 完全不同的道路。

Stable Diffuision 的開源，導致了產品集成、市場、用戶界面的創新，而在 Dall-E 身上，這些卻沒有發生。

這樣做的后果是顯而易見的，Stable Diffusion 迅速占據了主流，與之相比，OpenAI 的解決方案已經變得無關緊要了。

同樣的事情是否會發生在 LLM 領域？目前還未知，但這兩件事，有太多相似之處。

我們錯過了什么？

開源社區最近取得成功的很多創新，直接解決了我們還未解決的很多難題。

更多地關注他們的工作，可以幫我們避免重新造輪子。

LoRA 是一種非常強大的技術，我們可能應該對它更加關注。

LoRA 通過將模型更新表示為低秩分解來工作，這將更新矩陣的大小減少了數千倍以上。

這就讓模型微調的時間和成本都大大降低。

如果在幾個小時內，就能在消費級硬件上微調出一個個性化的語言模型，這件事的意義就太重大了。尤其是，它還可以實時整合許多最新的、多樣化的知識。

但這項技術在谷歌內部并未得到充分重視，盡管它直接影響了我們最寄予厚望的項目。

從頭開始重新訓練模型，是一條艱難的道路

LoRA 如此有效的部分原因在于，與其他形式的微調一樣，它是可堆疊的。

可以應用指令調整改進模型，這樣在其他貢獻者添加對話、推理或工具時，就可以直接使用。

雖然單獨的微調是低秩的，但它們的總和不需要，因此模型的全秩更新就可以隨著時間的推移而累積。

這意味著，只要有新的、更好的數據集和任務出現，模型就可以以低廉的成本保持最新狀態，無需支付完整運行的成本。

相比之下，從頭開始訓練巨型模型不僅會失去預訓練的過程，還會失去在頂部進行的任何迭代改進。

在開源世界中，這些改進很快就會占據主導地位，這使得全面重新訓練模型的成本極其昂貴。

我們應該考慮，每個新的應用或想法是否真的需要一個全新的模型？

如果我們真的有重大的架構改進，以至于無法直接重新使用模型權重，那么我們應該去投資更積極的蒸餾形式，來盡可能多地保留上一代模型的功能。

如果我們能夠在小模型上快速迭代，那么從長遠來看，大模型并不是強到無所不能

LoRA（大型語言模型的低秩適應）是微軟提出的一種新穎技術，旨在解決微調大型語言模型的問題。

它的更新對于最受歡迎的模型大小來說非常便宜（約 100 美元），這意味著幾乎任何有想法的人都可以生成一個，并分發出去。

以后，一天之內訓練一個模型都是平平事。

以這樣的速度，用不了多久，這些微調的累積效應很快就會彌補起初的模型大小的劣勢。

事實上，這些模型的改進速度遠遠超過了我們使用最大模型所能做的，而且最好的模型與 ChatGPT 在很大程度上已經無法區分。

專注于研究一些大模型，反而讓我們處于不利地位。

要數據質量，不要數據規模

許多項目通過對小型、精選數據集上進行訓練來節省時間。這表明數據擴展規律具有一定的靈活性。

這樣數據集的存在源于「Data Doesn't Do What You Think」一文中的思路，它們正迅速成為在谷歌之外進行訓練的標準方式。

這些數據集是通過合成方法（比如，從現有模型中篩選出最佳響應）和從其他項目中搜集而構建。谷歌在這兩者中都不占主導地位。

幸運的是，這些高質量的數據集是開源的，因此可以免費使用。

與開源直接競爭，是一個失敗的命題

AI 新進展對谷歌的商業戰略有著直接、即時的影響。如果有一個免費的、高質量、且沒有使用限制的替代品，誰會為谷歌產品付費？

而且我們不應該指望能夠趕上。現代互聯網之所以依賴開源，是有原因的。開放源碼有一些我們無法復制的顯著優勢。

比起他們需要我們，我們更需要他們

我們技術的保密一直是一個脆弱的命題。

谷歌的研究人員正定期離開，前往其他公司。所以我們可以假設他們知道我們所知道的一切。而且只要這條渠道是開放的，他們就會繼續這樣做。

但是，由于 LLM 的前沿研究成本低廉，保持技術領域的競爭優勢變得更加困難。

世界各地的研究機構都在相互借鑒，以廣度優先的方式探索遠遠超出我們自身能力的解決方案空間。

我們可以試著緊緊抓住我們的秘密，而外部創新會削弱了其價值，又或者我們可以嘗試著互相學習。

與公司相比，個人受到許可的限制程度較小

近來，模型的創新大多在 Meta 的 LLaMA 模型權重泄露之后進行的。

雖然這肯定會隨著真正的開源模型變得更好而改變，但關鍵是他們不必等待。

「個人使用」所提供的法律保護以及起訴個人的不切實際意味著，個人在這些技術熾熱時就能獲得這些技術。

作為自己的客戶意味著，你理解用例

瀏覽人們在圖像生成領域中創建的模型，從動畫生成器到 HDR 景觀，創造力源源不斷地涌現出來。

這些模型由深入特定子類型的人使用和創建，賦予了我們無法企及的知識深度和共鳴。

擁有生態系統：讓開源為我們工作

矛盾的是，大廠競相爭先的背后，贏家就是 Meta。

因為泄露的模型 LLaMA 是他們的，所以相當于他們有效地獲得了整個星球價值的免費勞動力。

由于大多數開源創新都基于 LLaMA，所以沒有什么能阻止他們直接將其納入自己的產品中。

擁有生態系統的價值，未來將不可估量。曾經的谷歌已經成功地在其開源產品（如 Chrome 和 Android）中使用了這一范式。

通過擁有創新發生的平臺，谷歌鞏固了自己作為思想領袖和方向制定者的地位。

我們對模型的控制越嚴格，開源替代品就越有吸引力。

谷歌和 OpenAI 都傾向于嚴格控制模型使用，開啟一種防御性的反應。

但是這種控制只是虛構的，因為任何試圖將 LLMs 用于未經批準的目的的人，都可以選擇自由提供的模型。

谷歌應該在開源社區中確立自己的領導地位，通過合作來發揮引領作用。

這可能意味著要采取一些令人不安的步驟，比如發布小型 ULM 變體的模型權重。這必然意味著放棄對我們模型的一些控制。

但這種妥協是不可避免的。我們不能同時做到既推動創新，又控制創新。

結束語：OpenAI 怎么樣？

鑒于 OpenAI 目前的封閉政策，所有關于開源的討論可能讓人覺得不公平。

如果他們不愿意，我們為什么要分享呢？但事實是，我們正通過源源不斷地被挖走的高級研究人員與他們分享了一切。

在我們阻止這股潮流之前，保密是沒有意義的。

最后，OpenAI 并不重要。

相對于開放源代碼，他們正在犯同樣的錯誤，他們保持優勢的能力必然受到質疑。

除非他們改變立場，否則開源替代品可以，而且最終會超越他們。至少在這方面，我們可以先行一步。

開源時間線

23 年 2 月 24 日，LLAMA 發布

Meta 發布 LLaMA，開源代碼，但沒有公布權重。此時，LLaMA 尚未進行指令或對話調優。

與許多當前模型一樣，它是一個相對較小的模型（參數分別為 7B、13B、33B 和 65B），經過相對較長時間的訓練，因此與其大小相比具有相當強大的能力。

23 年 3 月 3 日，不可避免的事情發生了

不到一周，LLAMA 就被泄露給了公眾。Meta 現有的許可禁止將 LLAMA 用于商業目的。

突然之間，任何人都可以進行試驗。在整個社區，掀起了模型創新的海嘯。

23 年 3 月 12 日，語言模型在烤箱上運行

一個多星期后，Artem Andreenko 成功在樹莓派上運行模型。當時，模型運行速度非常慢，因為權重必須在內存中分頁，實用性不強。

盡管如此，這為一系列縮小模型規模的努力奠定了基礎。

23 年 3 月 13 日，筆記本電腦上的微調

第二天，斯坦福發布了 Alpaca，它為 LLaMA 增加了指令調優功能。

然而，重要的是，Eric Wang 的 alpaca-lora 倉庫，它使用 LoRA 在單個 RTX 4090 上幾小時內完成了這個訓練。

從這時起，突然間，任何人都可以對模型進行微調，引發了一場關于低成本微調模型的競爭。

許多鋪天蓋地的報道稱 xxx 模型總共花費了幾百美元。

更重要的是，低秩更新可以輕松地與原始權重分開分發，使他們擺脫了 Meta 原始許可的約束。任何人都可以分享和應用它們。

23 年 3 月 18 日，變得更快了

GeorgiGerganov 使用 4 位量化在 MacBookCPU 上運行 LLaMA。

這是第一個「無 GPU」解決方案，速度足夠快，實用性很強。

23 年 3 月 19 日，一個 13B 型實現了與 Bard 的「平衡」

第二天，一個跨大學的合作發布了 Vicuna，并使用 GPT-4 驅動的評估對模型輸出進行定性比較。雖然評估方法值得懷疑，但該模型實質上比早期的變體更好。

最最重要的是，只用了 300 美元進行訓練。

值得注意的是，他們能夠使用來自 ChatGPT 的數據，同時規避其 API 的限制

他們只需從像 ShareGPT 這樣的網站上獲取令人印象深刻的 ChatGPT 對話樣本。

23 年 3 月 25 日，選擇自己的模型

Nomic 創建了 GPT4All，它既是一個模型，更重要的是，它也是一個生態系統。

所有人第一次看到模型（包括 Vicuna）匯集在一個地方。訓練費用: 100 美元。

23 年 3 月 28 日，開源版 GPT-3

Cerebras 使用 Chinchilla 暗示的最佳計算計劃和 μ 參數化暗示的最佳縮放（optimal scaling）來訓練 GPT-3 架構。

這比現有的 GPT-3 克隆有很大的優勢，代表了 μ 參數化在實際應用中的首次使用。這些模型是從零開始訓練的，這意味著社區不再依賴 LLaMA。

23 年 3 月 28 日，一小時完成多模態訓練

LLaMA-Adapter 采用一種新的參數有效微調（PEFT）技術，在一個小時的訓練中引入指令調優和多模態。

令人印象深刻的是，它們只使用了 120 萬個可學習參數。該模型在多模態 ScienceQA 上刷新了 SOTA。

23 年 4 月 3 日，人們無法區分 13B 開源模型和 ChatGPT

伯克利發布了 Koala，這是一個完全使用免費數據進行訓練的對話模型。

他們采取了衡量真實人類在 Koala 和 ChatGPT 之間的偏好的關鍵步驟。

雖然 ChatGPT 仍然稍占上風，但超過 50% 的時間，用戶要么更喜歡 Koala，要么無所謂。訓練費用: 100 美元。

23 年 4 月 15 日，ChatGPT 級的開源 RLHF

Open Assistant 發布了一個模型，更重要的是，發布了一個用于通過 RLHF 進行對齊的數據集。

這一模型在人類偏好方面接近 ChatGPT (48.3%:51.7%)。

除了 LLaMA 之外，他們還展示了這個數據集可以應用到 Pythia-12B 上，為人們使用一個完全打開的堆棧來運行模型提供了選擇。

此外，由于數據集是公開可用的，它使得對于小型實驗者來說，RLHF 從不可實現變得便宜，且容易。

谷歌筑墻，啪啪打臉

雖說開源是勝利，但現在的谷歌卻反身架起城墻，拒絕開源。

今年 2 月，長期擔任谷歌人工智能部門負責人 Jeff Dean 對內宣布了一項令人震驚的政策轉變：

推遲與外界分享內部工作。

多年來，Dean 一直把部門當作一所大學來管理，鼓勵研究人員大量發表學術論文。據 Google Research 顯示，自 2019 年以來，他們推動了近 500 項研究。

自 ChatGPT 誕生以來，一路風生水起，顯然讓谷歌一時慌了神，并就此必須做出改變。

Dean 表示，谷歌在人工智能領域的發現只有轉化成產品后，才會共享論文。

Jeff Dean 在谷歌研究部門的季度會議上表示，這家位于舊金山的初創公司 OpenAI，通過學習團隊的論文，才跟上了谷歌的步伐。

我們都知道，ChatGPT 中的 T 便指的是谷歌 Transformer 架構，是以 Transformer 架構為核心的大型語言模型。

為了追趕 ChatGPT，谷歌開啟了防御模式。這對谷歌來說，是一個重大轉變。

這一政策首先是為了抵御一批強大的 AI 競爭對手，另外是為了保護其核心搜索業務、以及可能的未來。

然而正如內部文件泄露所稱，谷歌不是勝者，OpenAI 也不是，真正的贏家才是 Meta。

開源的勝利，谷歌曾嘗過。現在，是該做些改變了。

參考資料：

• https://www.semianalysis.com/p/google-we-have-no-moat-and-neither

• https://www.washingtonpost.com/technology/2023/05/04/google-ai-stop-sharing-research/?utm_source=reddit.com

本文來自微信公眾號：新智元 （ID：AI_era）

總結

以上是生活随笔為你收集整理的开源狂潮让巨头惨败，谷歌内部文件曝光：我们和 OpenAI 都没有护城河的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。