tensorboardX笔记:理解graph
生活随笔
收集整理的這篇文章主要介紹了
tensorboardX笔记:理解graph
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
????????TensorBoardX中的Graph不同于一般的神經(jīng)網(wǎng)絡結構圖,它是一種計算圖。
????????圖中每個節(jié)點要么是Tensor本身,要么是運算符;每一條邊要么代表Tensor的流動,要么代表控制關系。
????????這張圖完備的表達了通過代碼定義的神經(jīng)網(wǎng)絡中所有計算步驟,可以據(jù)此說明前向計算、誤差反向傳播、梯度下降調整參數(shù)等過程。
????????在實際工作中,理解了上述含義,就可以將Graph利用起來,在Debug過程中可視化的發(fā)現(xiàn)網(wǎng)絡計算流程中的問題。復雜程序的調試總是困難的,引入可視化工具對于調試效率會非常有幫助。
1 圖中基本元素
| 命名空間 | 層次較高的節(jié)點(node) | |
| 操作符節(jié)點 | 他代表一個操作,或者說是運算,函數(shù) 輸入的張量是這個函數(shù)的自變量,通過函數(shù)運算后輸出。 | |
| 常量 | 他代表一個常量,也就是一個常數(shù) | |
| 數(shù)據(jù)流邊 | 這里面帶箭頭的線叫dataflow edge,是數(shù)據(jù)流邊 表示張量數(shù)據(jù)流向箭頭所指的節(jié)點 線段的寬度代表了張量的維度,維度越多越寬。 如果線段變成了虛線,就變成了控制依賴邊,表示箭頭尾部對箭頭頭部的控制、依賴關系。 |
?2 舉例
以?pytorch筆記——簡易回歸問題_UQI-LIUWJ的博客-CSDN博客?為例
?把Linear 展開,有:
?
?
?
?
總結
以上是生活随笔為你收集整理的tensorboardX笔记:理解graph的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: pytorch 笔记:tensorboa
- 下一篇: 机器学习笔记:高斯判别分析