在過去的幾個月時間里，Google和Facebook在一場別樣的大戰上打得火熱，自從Google的XLNet橫空出世戰勝了BERT的記錄，Facebook就開始默默憋大招了。上周劇情再次翻轉，改進版BERT-RoBERTa登上了GLUE排行榜榜首。這場沒有想要的技術攻堅戰，在短短一個月內持續發酵。
在面對技術的快速迭代更新，我們也在第一時間把XLNet納入到了訓練營體系里，在模型發布的第三天就完成了所有教研的工作。隨著技術的不斷更新與發展，我們的課程內容也是越加越多，越來越精。一轉眼，我們也迎來了NLP訓練營5期開始招生了！2019年貪心學院的《NLP自然語言處理訓練營》作為業界的標桿，已培養出大量的NLP算法工程師，均已走上相應的工作崗位，而我們期待著他們將為2019年的中國NLP技術帶去新鮮血液和希望。
本期的訓練營在原有的基礎上做了大幅度內容的更新，在內容的廣度和深度上做了大幅度的調整。可以認為目前的課程體系在全網應該是最全面而且最具有挑戰性的。如果你想深入去接觸這個領域，并且想讓自己與時俱進，相信選擇我們是正確的選擇。??

到底是什么樣的課程讓業內的呼聲這么的大，

如果你還不知道《NLP自然語言處理訓練營》

那么你可能錯過了太多~??

訓練營既包含大量的案例教學，也包含學員需要完成的項目作業，還有每周的作業以及論文解讀。

課程大綱

第一階段 算法與優化基礎

【核心知識點】
.?Dynamic Time Warping. Earth Mover's Distance
. 維特比算法
. LR, SVM, KKT. Kernel Tick, Mercer's Theorem
. 梯度下降法，收斂性分析
.?L0, L1, L2, L-Infinity Norm
. Grid Search, Bayesian Optimization
. 隨機森林、GBDT, XGBoost回顧
. 凸函數、凸集、Lagrange Duality. Projected Gradient Descent. Linear/Quadratic Programming
. Integer/Semi-definite Programming
. NP-completess?. Constraint Relaxation【實戰案例】:
. [作業] 基于Sparse Quadratic Programming的股票投資組合優化策略編寫
. [講解] 基于Earth Mover's Distance的短文本相似度計算
. [講解] 基于Projected Gradient Descent和非負矩陣分解的詞向量學習. [講解] 基于Linear Programming的機票定價系統

第二階段 語言模型與序列標注

【核心知識點】. 文本預處理技術（tf-idf，Stemming等）
. 文本領域的特征工程
. 倒排表、信息檢索技術
. Noisy Channel Model
. N-gram模型，詞向量介紹
. 不同的Smoothing Techniques
. Learning to Rank
. Latent Variable Model
. EM算法與Local Optimality
. 有向圖模型與無向圖模型
. HMM模型、Viterbi、Baum Welch
. Log-Linear Model與參數估計
. CRF模型與Linear-CRF
. CRF的Viterbi Decoding與參數估計【實戰案例】：
. [作業] 基于無監督學習方法的問答系統搭建
. [作業] 基于監督學習的Aspect-Based 情感分析系統搭建
. [講解] 基于CRF的命名實體識別?
. [講解] 基于語言模型和Noisy Channel Model的拼寫糾錯

第三階段?信息抽取、詞向量與知識圖譜

【核心知識點】. 命名實體識別技術
. 信息抽取技術
.?Snowball, KnowitAll, RunnerText
. Distant Supervision, 無監督學習方法
.?實體統一、實體消歧義、指代消解
. 知識圖譜、實體與關系
. 詞向量、Skip-Gram、Negative Sampling
. 矩陣分解、CBOW與Glove向量
. Contexualized Embedding與ELMo
.?KL Divergence與Gaussian Embedding
. 非歐式空間與Pointcare Embedding. 黎曼空間中的梯度下降法
. 知識圖譜嵌入技術
. TransE, NTN 的詳解
. Node2Vec詳解
. Adversial Learning與KBGAN【實戰案例】：. [作業] 利用非結構化數據和信息抽取技術構建知識圖譜. [作業] 任務導向型聊天機器人的搭建. [講解] 包含Intent與Entity Extraction的NLU模塊實現
. [講解] 基于SkipGram的推薦系統實現（參考Airbnb論文）

第四階段 深度學習與NLP

【核心知識點】.?Pytorch與Tensorflow詳解. 表示學習，分布式表示技術
. 文本領域中的Disentangling
. 深度神經網絡與BP算法詳解
. RNN與Vanishing/Exploding Gradient
. LSTM與GRU
. Seq2Seq與注意力機制
. Greedy Decoding與Beam Search
. BI-LSTM-CRF模型
. Neural Turing Machine. Memory Network
. Self Attention，Transformer以及Transformer-XL.
. Bert的詳解
. BERT-BiLSTM-CRF
. GPT，MASS,? XLNet
. Low-resource learning
. 深度學習的可視化
. Laywer-wise Relevance Propagation【實戰案例】：. [作業]?利用純Python實現BP算法
. [作業] 基于Seq2Seq+注意力機制、基于Transformer的機器翻譯系統
. [講解] 基于Transformer的閑聊型聊天機器人
. [講解] 基于BI-LSTM-CRF和BERT-BiLSTM-CRF在命名實體中的比較
. [講解] 利用Laywer-wise RP可視化端到端的機器翻譯系統

第五階段 貝葉斯模型與NLP

【核心知識點】

.?概率圖模型與條件獨立
. Markov Blanket?
. Dirichlet分布、Multinomial分布. Beta分布、Conjugate Prior回顧. Detail Balance
. 主題模型詳解
. MCMC與吉布斯采樣
. 主題模型與Collapsed Gibbs Sampling
. Metropolis Hasting, Rejection Sampling
. Langevin Dyamics與SGLD
. 分布式SGLD與主題模型
. Dynamic Topic Model?. Supervised Topic Model
. KL Divergence與ELBO
. Variantional Inference, Stochastic VI
. 主題模型與變分法
. Nonparametric Models
. Dirichlet Process. Chinese Restarant Process
. Bayesian Deep Neural Network?
. VAE與Reparametrization trick
. Bayesian RNN/LSTM
. Bayesian Word2Vec
. MMSB
【實戰案例】:. [作業]?利用Collapsed Gibbs Sampler和SGLD對主題模型做Inference
. [講解] 基于Bayesian-LSTM的命名實體識別

第六階段?開放式項目 （Optional）

【項目介紹】

?可以根據自己的興趣來設計一個NLP領域的課題，課題需要具備一定的挑戰，并且有一定的深度。在項目期間教學團隊會提供技術支持

?

【結果輸出】：??完整PPT、代碼和Conference-Style Technical Report【評估流程】：?教學團隊Review + 學員Peer-Review課程設計緊密圍繞學術界最新進展以及工業界的需求，涵蓋了所有核心知識點，并且結合了大量實戰項目，培養學員的動手能力，解決問題能來以及對知識的深入理解。

部分課程項目

課程適合誰？

• 有良好的機器學習基礎，有較強的編程能力

• 對數據結構與算法比較熟悉

• 之后想從事相關研究工作、或者之后想申請國外名校讀相關專業的碩士/博士

• 追求技術細節，對背后的why感興趣，不希望僅僅停留在使用工具層面的學員

• 已經在AI領域從事工作，但技術上感覺遇到了瓶頸，想進一步突破的學員

• 希望在工作中可以根據業務需求能夠提出新的模型，做一些創新

• 對NLP領域最新知識體系想有更深入的學習

• 想轉型到一線做AI工程師的學員
  

  
  

課程特色

• 內容上包含了作為AI頂級工程師必備的核心技術體系
  

• 內容上包含了大量最前沿的技術

• 具備一定的挑戰性和深度，區別于市面上的其他同類的課程。?

• 理論與實戰的結合，所有的理論會本質層面講起，而且非常通俗易懂，即便很難理解的BERT, Bayesian NN也會讓你能夠聽得懂并且能夠理解。每一個重要的知識點會配備實戰講解以及核心代碼review.

• 包含具有挑戰性的課程項目作業和理論作業，這些會幫助你更深入地理解學過的知識點

• 配備頂尖講師團隊，均在NLP和機器學習領域有很深的研究和工作經驗
  

  
  

教學模式

我們主要采用直播的方式，一周4-5次的直播教學，?包括2次的main lectures, 1-2次的discussion session (講解某一個實戰、必備基礎、案例或者技術上的延伸）， 1次的paper reading session (每周會assign一篇必備論文，并且直播解讀)。教學模式上也參考了美國頂級院校的教學體系。?以下為其中一周的課程安排，供參考。?

服務體系

看完被嚇著了？這玩意學不會可咋整啊？

大魔頭是不會讓你以智商為理由逃跑的，
我們為大家配備了全一線工程師的助教團隊，
嚴防死守以學不會為由的逃兵出現！

• 全職助教實時答疑

  
  

看視頻的時候："誒？這步怎么推導出來的呢？"編程跑項目實踐的時候："誒？這段代碼是干嘛的呢？"
看論文的時候："誒？為什么好像看懂了，又不知道在講什么呢？"
不管你在學習過程中遇到多少阻礙，你都可以通過以下4種方式解決：

• 直接在線問導師；

• 或者記錄到共享文檔中，等待每日固定時間的直播答疑；

• 學習社群中全職助教，24h隨時提問答疑

• 共同的問題在Review Session里面做講解

注：每次答疑，班主任都會進行記錄，以便學員實時查閱。

來自師兄師姐的疑問：

• 編寫一些技術類文章

  
  

通過在知乎上發表相關技術文章進行自我成果檢驗，同時也是一種思想碰撞的方式，導師會對發表的每一篇文章寫一個詳細的評語。萬一不小心成為一個大V了呢？雖然寫文章的過程萬分痛苦，學習群里半夜哀嚎遍野，但看一看抓著頭發寫出來的文章結果還是非常喜人的！看著自己收獲的點贊數，大家都默默地感謝起大魔頭的無情！

這種滿滿的成就感，讓大家一篇接一篇寫了下去！

個個都立刻變身成了知乎大牛~

• Project項目

除了文章，算法工程師立命的根本--項目代碼，大魔頭更是不會放過的。每次在Gitlab上布置的作業，大魔頭都會帶領助教團隊會予以詳細的批改和反饋。并逼著你不斷的優化！

課程導師

看了這么多，是不是非常崇拜設計出如此地獄式學習計劃的大牛，那就來正式認識一下這位訓練營中人人聽了都聞風喪膽，但又讓人崇拜+喜愛+欲罷不能的訓練營大魔頭:

李文哲

NLP、知識圖譜領域專家

美國南加州大學博士，曾任凡普金科（愛錢進）首席科學家，美國亞馬遜/高盛高級工程師，AI量化投資公司首席科學家兼投資總監。在AAAI, KDD, AISTATS等頂會上發表過15篇以上論文，其中3篇獲得Best Paper Award，累計數百次引用。

畢業標準

進去企業敲門磚的”畢業證“如何得到？大魔頭之所以是大魔頭不單單因為技術牛，更因為他同時掌管著訓練營學員的生殺大權！光學習是怎么可以的，我們的訓練營是有考核的！大魔頭給學習成果定義了充分的可量化標準。貪心學院紅頭文件曬給你看：

• 考核機制

我們也有嚴格的考核機制，包括項目作業的完成度、直播到課率、文章寫作等要素。而且根據這些考核來確定畢業生以及優秀畢業生。針對于優秀畢業生，我們會提供很豐厚的激勵機制。再被大魔頭折磨了多個日日夜夜后，大家不但沒有放棄學習，而且很快樂地學習著，隨便截幾個圖：

我確定了我們的魔鬼訓練營沒有誤人子弟，我們的課程真的幫助到大家有人實質的技能提升或幫助大家拿到offer。今年九月，大魔頭攜帶著他的第五期《NLP自然語言處理集中營》再度回歸了。

2019NLP能這么騷，就要看你了~?
這個被全網尊稱為能找到的最體系化，
最有挑戰的，
實踐性最強的，
最燒腦的，AI自然語言處理訓練營等著你們！
勇士們讓我看到你們的雙手！

注：本文含商業推廣內容

報名方式

請掃描下面的二維碼咨詢課程

我們是誰？我們是一家專注于人工智能領域的在線教育公司，由一群有情懷的硅谷科學家來創辦。我們提供最專業的AI課程以及每月4-5期的免費AI類公開課。關注此公眾號（“貪心科技”）可以獲得相關的信息。

總結

以上是生活随笔為你收集整理的BERT or XLNet，围观NLP巅峰烧钱大战。技术发展太快，如何才能跟得上节奏？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。