「AI Drive」是由 PaperWeekly 和 biendata 共同發起的學術直播間，旨在幫助更多的青年學者宣傳其最新科研成果。我們一直認為，單向地輸出知識并不是一個最好的方式，而有效地反饋和交流可能會讓知識的傳播更加有意義，從而產生更大的價值。

本期 AI Drive，我們邀請到螞蟻金服胡翔，為大家在線解讀其發表在 ACL 2021 的最新研究成果：R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling。對本期主題感興趣的小伙伴，8?月 24?日（周二）晚 7 點，我們準時相約 PaperWeekly B 站直播間。

直播信息

結構化語言模型一直是自然理解領域一個非常重要的基礎研究領域。語言學理論提出人類語言具有層次性，結構性，大量學術工作也論證了具備語義結構的模型具備更好的下游泛化能力。但是長期以來，伴隨著 LSTM, ELMO, BERT 等一系列順序堆層模型的進步，結構化語言模型一直處在陪跑地位。Stanford, Google, DeepMind 等先后在結構化語言模型任務上做出過重要工作，但要么只能預測結構，編碼能力不強，亦或編碼能力尚可，預測的結構不理想。

本工作結合基于 CKY 編碼的可導二叉樹編碼器，提出一種新穎的結構化語言模型架構 R2D2，可以在表征能力超越同參數量 Sequential Transformer 外，還能在無監督結構預測任務上與專為結構預測設計的模型相匹敵。以目前我們有限的知識而言，R2D2 是世界上第一個做到在文本表征及無監督結構預測兩個任務達到 SOTA 級別的結構化語言模型。?

論文鏈接：

https://aclanthology.org/2021.acl-long.379/

代碼鏈接：

https://github.com/alipay/StructuredLM_RTDT

本次分享的具體內容有：?

• 關于 NLP 深度學習模型現狀的思考

• Motivation：我們認為理想的語言模型所具備的特質

• 前置工作：CKY based encoding

• 方法：R2D2工作介紹

• 實驗結果

• 論文中所看不到的各種失敗實驗

• 未來工作/總結

嘉賓介紹

?胡翔?/ 上海交通大學碩士?

胡翔，本碩就讀于上海交通大學，目前就職于螞蟻金服。非 NLP 科班背景，憑興趣愛好自學研究。主要研究興趣為結構化語言模型及認知推理，工作先后在 COLING, ACL 等國際會議上發表。

直播地址?& 交流群

本次直播將在 PaperWeekly 視頻號和 B 站直播間進行，掃描下方海報二維碼或點擊閱讀原文即可免費觀看。線上分享結束后，嘉賓還將在直播交流群內實時 QA，在 PaperWeekly 微信公眾號后臺回復「AI Drive」，即可獲取入群通道。

B 站直播間：

https://live.bilibili.com/14884511

合作伙伴

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的直播 | ACL 2021论文解读：表征与结构兼备，结构化语言模型R2D2的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。