寫在前面

前面我們介紹了《GPT-4報告的整體情況》，那接下來展開介紹GPT-4報告中講的內容。

前沿

在模型的結構上，是基于Transformer結構的大模型。接受多模態輸入，即圖像和文本輸入（但只能輸出文本）。使用公開的的數據訓練，并使用人類反饋的增強學習(RLHF)微調模型，進一步提升模型的整體效果，使其更符合人類習慣的輸出。報告中明確指出，不會給出模型的架構(包括模型大小)、硬件、訓練計算、數據集的構成及訓練方法等詳情。也就是說，我們無法想讀論文一樣了解GPT-4的實現細節。整個報告主要圍繞GPT-4的能力，局限和安全等方面展開。

GPT-4的報告的中英文摘要如下：

We report the development of GPT-4, a large-scale, multimodal model which can accept image and text inputs and produce text outputs. While less capable than humans in many real-world scenarios, GPT-4 exhibits human-level performance on various professional and academic benchmarks, including passing a simulated bar exam with a score around the top 10% of test takers. GPT-4 is a Transformer- based model pre-trained to predict the next token in a document. The post-training alignment process results in improved performance on measures of factuality and adherence to desired behavior. A core component of this project was developing infrastructure and optimization methods that behave predictably across a wide range of scales. This allowed us to accurately predict some aspects of GPT-4’s performance based on models trained with no more than 1/1,000th the compute of GPT-4.

我們報告了 GPT-4 的開發，這是一種大規模的多模式模型，可以接受圖像和文本輸入并產生文本輸出。雖然在許多現實場景中的能力不如人類，但GPT-4 在各種專業和學術基準測試中表現出人類水平的表現，包括通過模擬律師考試，得分在應試者的前 10% 左右。 GPT-4 是一種基于Transformer 的模型，經過預訓練可以預測文檔中的下一個標記。訓練后的對齊過程會提高真實性和遵守所需行為的措施性能。該項目的核心組成部分包括可在廣泛范圍內預測規模表現的基礎設施和優化方法。這使我們能夠基于不超過GPT-4 計算量的萬分之一的訓練模型準確預測 GPT-4某些方面的性能。

從摘要中可以看出GPT-4的效果要比之前的GPT模型好很多，以及模型應用落地必須要考慮的方面，接下來對報告的正文展開介紹。
GPT-4的能力(Capabilities )

可預測模型規模表現

GPT-4一個大的核心點事構建一個可預測擴展深度學習棧。主要的原因是像GPT-4這種非常大的訓練，針對特定模型的微調是不可行的(時間+人力+投入成本不劃算)。為此，GPT開發了一套多尺度上具有可預測行為的基礎設置和優化方法。這些改進可以讓我們比較可靠的使用GPT-4萬分之一的小模型規模，預測GPT-4這種大模型在某些方面的性能(比如loss的走勢和在某些數據集上的通過率等指標)。用小參數量的模型，擬合一條X軸為模型規模，Y軸為某個指標的曲線預測大規模參數下模型的表現，可以大大減少試錯成本，提升研發效率，前景非常的不錯。
為了預測GPT-4的loss，報告中使用最大計算量不超過待預測模型GPT-4規模的萬分之一的多個小模型，擬合一條曲線(scaling law)：

a,b,c是待確定的參數，通過幾個小規模的loss即可計算出a,b,c參數，然后根據該函數計算GPT-4的loss。下圖就是擬合模型loss的曲線圖，從圖中可以看出，很精準的預測了GPT-4的loss。

同樣的，使用類似的方法可以預測其他可解釋性的指標與模型規模的關系，比如在HumanEval評測上，找到了公式：
?
從實驗上看，對于GPT-4的效果預測也是很精準的，其曲線圖如下：

當然，也存在某些表現難以預測， 比如在“ Inverse Scaling Prize中提到的幾個任務，一般的模型如GPT-3.5都隨著模型規模效果變差，而GPT-4卻是相反的。
?
這種預測規模表現的能力在安全性上也是很重要的，報告提出希望致力于這方面的研究，也希望能夠成為一個大眾接受并樂于投入研究的領域。

模擬測試對比

對于GPT-4進行了多個不同的bechmark測試，模擬考試中，采用了多選擇和自由回答的題型，采用通用的評審方式綜合得分排序。在統一律師考試中，GPT-4排到top10%的位置，而GPT3.5排在top90%的位置，差距明顯，在我們比較熟悉的leetcode中，在easy、medium和hard類型中，GPT-4的效果都要好于GPT3.5。整體而言，在學術和專業領域的測試中，大部分的測試都是GPT-4的結果好于GPT-3.5的結果。需要強調的是：在這類測試中，使用post-training的RLHF對測試結果的影響不大。

語言模型通用基準對比

GPT-4在也在語言模型領域通用的基準上和最先進(SOTA)模型對比，這些SOTA的效果可能是基于特定數據協議訓練的，實驗表明即使這樣，在大多數基準上，GPT-4都好于當前最先進(SOTA)模型的效果。
?

多語言能力對比

因為很多ML模型的基準都是英語了，為了測試其他語言上的能力，openAI將MMLU基準中的57個主題的多項選擇題翻譯成其他語言，然后對比效果。在英語和其他語言上，GPT-4的效果也遠遠好于其他翻譯模型，即使在可使用的語言預料匱乏的拉脫維亞語、威爾士語和斯瓦希里語上。

?

多模型輸入能力

GPT-4在已有的GPT-3.5的基礎上增加了圖像和文本混合輸入能力，圖像可以照片、圖表或屏幕截圖。略顯不足的是目前只支持文本的輸出。百度的問心一言雖然再效果是比不上GPT-4甚至chat-GPT，但能力上是支持圖片輸出的。為了展示GPT-4對圖片的處理能力，報告了給了一個通過VGA給手機通電的圖片，讓GPT-4找出圖片中的funny之處，如下：

局限(Limitations)

正如前面所述，GPT-4在很多的測試基準上都取得了很好的效果，但盡管如此，依然還有很多的缺陷，并不是完全可靠的。GPT-4會產生幻覺并導致推理的錯誤，特別是在高風險的環境中，與特定需求相匹配的精確的協議（例如人工審查、附加上下文的基礎，或完全避免高風險的使用）的應用中。與GPT-3.5相比，在較少模型的幻覺方面，GPT-4在內部的、對抗性設計的真實性評估中高出19%。

?
此外，在公開的將符合事實的陳述與一組不正確的陳述中區分開來的基準測試(如TruthfulQA)上也有很大的提升。但需要強調的是：只進行預訓練的GPT-4上略微好于GPT3.5，而經過RLHF的post-training之后得到了很大哦的提升。
?
再者就是模型知識的局限性，因為模型是使用2022年9月份以前的數據，所以對于再次之后發生的事情，模型也無能為力。比如問GPT-4硅谷銀行是否破產了，它的回答肯定是沒有。

風險與緩解措施(Risks & mitigations)

openAI在提升模型的安全性和政策對齊上進行了大量的嘗試，包括使用領域專家進行紅藍對抗測試、構建模型輔助安全管道以及在前模型基礎上提升安全性評估方法。
GPT-4和一般的小語言模型一樣，都會生成有害建議、有缺陷的代碼和不準確信息的問題，并且GPT-4這些額外能力也會導致一些新的風險，為了更好的力這些風險，openAI聘請了各個領域的專家進行對抗性測試，包括政策對齊風險、網絡安全、生物風險和國際安全等。根據專家收集到的風險問題數據，也餓可以增強模型訓練改善這種情況，比如拒絕響應合成危險化學品的請求。
?
對于之前的GPT模型，GPT-4模型是在pre-training之后使用RLHF對其進行了增強，實驗發現，通過RLHF增強后，反而讓模型在不安全的輸入上更加的脆弱，有時候也會返回一些不符合預期的響應。為了應對該問題，openAI額外增加了一批安全相關的prompts用于RLHF訓練，以及根據規則制定強化學習的激勵模型(RBRM)。
?
針對上面問題采取的緩解措施之后，安全性指標上拒絕不允許的請求相比于GPT3.5下降了82%，在敏感的請求中按照我們的策略響應的提升了29%，另外有害內容的產生也從GPT-3.5的6.48%下降到0.73%。
?

總的來說，我們的模型級干預增加了引發不良行為的難度，但仍然有可能產生。例如，仍然存在“越獄”來生成違反我們使用指南的內容。只要存在這些限制，就必須使用部署時安全技術來補充它們，例如監控濫用以及用于快速迭代模型改進的管道。
GPT-4 和后續模型有可能以有益和有害的方式對社會產生重大影響。我們正在與外部研究人員合作，以改進我們理解和評估潛在影響的方式，以及對未來系統中可能出現的危險功能進行評估。我們將很快發布關于社會可以采取的步驟來為人工智能的影響做準備的建議，以及預測人工智能可能的經濟影響的初步想法。

參考文獻
GPT-4 Technical Report
gpt-4-system-card
《GPT-4報告的整體情況》

總結

以上是生活随笔為你收集整理的GPT-4报告解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。