前情提要

論文名稱： Language Models are Few-shot learners

但是GPT-3的缺點在于，太過巨大！ 它有多大呢？ 原來最大的時候是Turing NLG，有17B，而GPT-3是它的10倍！

對GPT-3的評價：

GPT-3要干什么事呢？ 它是為了ZERO-shot的learning！ 所以你現在要訓練你的BERT還是需要訓練一些資料的！ 而GPT-3的目的就是說不再需要fine-tune，直接一個模型就解決所有！！！

GPT系列的野望

就是給出你問題，你在讀了問題后就知道怎么解答這個試題！

具體一點，該模型主要做了三個事！ GPT-3的目的直接zero-shot，而不需要例子，只需要給出描述就可以了！ 在論文中就叫做“In-context” learning！！

后面這個是GPT系列的準確率！ 準確率是提高了，但是這種復雜度的提高值不值得就另當別論了！

應用

CLosed Book QA

就是說不需要讀特定的文章就可以回答問題！ GPT-3的效果可以超過經過Fine-tuned的最好性能！

SuperGLUE上

效果也是還行的

Generated new articles

只給出標題來生成文章！ 橫軸是參數的量，縱軸是準確率，就是能夠騙過模型的準確率！準確率越低，說明人分辨生成的新聞能力越差！

造句

數學問題

后面都是表現差的例子：

NLI（就是輸入兩個句子，看這兩個句子是不是有矛盾）

Turing Advice Challenge

這是一個比賽，讓看模型理解人的語言到什么程度！ 內容一般是一個人提出自己的生活中的問題，然后讓機器人回答怎么解決！

可以看到生成可用建議的準確度還不是很高！ 只有9%，就算最好40%

圖像上的應用： gpt： raster order

就是讓圖像自己有創造力，自己創造故事！

總結

以上是生活随笔為你收集整理的李宏毅机器学习（十）GPT-3的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。