「PW Live」是 PaperWeekly 的學術直播間，旨在幫助更多的青年學者宣傳其最新科研成果。我們一直認為，單向地輸出知識并不是一個最好的方式，而有效地反饋和交流可能會讓知識的傳播更加有意義，從而產生更大的價值。

本期 PW?Live，我們邀請到曠視研究院基礎模型組算法研究員萬若斯，為大家帶來批歸一化和權重衰減的球面優化機制的主題分享。

對本期主題感興趣的小伙伴，7?月 9?日（周四）晚 7?點，我們準時相約 PaperWeekly B 站直播間。

分享提綱

批歸一化（Batch Normalization，BN）和權重衰減（weight decay，WD）以其出色穩定的表現成為了當今各種深度學習模型的標準配置，但它們的理論機制，一直以來僅有模糊的定性分析。

在這次報告中，我將介紹 BN 和 WD 對深度神經網絡的訓練過程的共同作用的球面優化機制（Spherical Motion Dynamics， SMD）。值得注意的是，我們基于球面優化機制的定量理論結果，不受限于模型的結構、數據集或任務類型，可以在諸如 ImageNet，COCO 等基于真實數據的復雜計算機視覺任務上得到完美驗證。

本次分享的具體內容有：

• BN與WD的背景

• • BN的表達方式與放縮不變形

  • BN和WD對損失函數的地形的影響

• BN和WD的球面優化機制

• • 球面優化機制的推導

  • 球面優化機制的部分性質

• 實驗結果

• • 在不同模型、數據集、計算機視覺任務上驗證球面優化機制

  • 討論球面優化機制對調參的影響

• 結論

嘉賓介紹

?萬若斯?/ 曠視研究院算法研究員?

萬若斯，現為曠視研究院基礎模型組的算法研究員。在北京大學數學科學學院取得應用數學學士學位，并在北京大學前沿交叉學院獲得數據科學碩士學位。主要研究方向是深度學習模型與訓練方法的理論基礎。

直播地址?& 交流群

本次直播將在 PaperWeekly B 站直播間進行，掃描下方海報二維碼或點擊閱讀原文即可免費觀看。線上分享結束后，嘉賓還將在直播交流群內實時 QA，在 PaperWeekly 微信公眾號后臺回復「PW Live」，即可獲取入群通道。

B 站直播間：

https://live.bilibili.com/14884511

合作伙伴

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的直播 | 旷视研究院最新理论成果：批归一化和权重衰减的球面优化机制的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。