Tensorboard:
如何更直觀的觀察數據在神經網絡中的變化,或是已經構建的神經網絡的結構。上一篇文章說到,可以使用matplotlib第三方可視化,來進行一定程度上的可視化。然而Tensorflow也自帶了可視化模塊Tensorboard,并且能更直觀的看見整個神經網絡的結構。
上面的結構圖甚至可以展開,變成:
如何在event文件中添加自己想要可視化的數據:
a.定義summary operation:
tf.scaler_summary:用來添加一些標量,比如 lr,loss,accuracy ,etc
tf.image_summary:用來添加一些進入graph的輸入圖片
tf.histogram_summary:用來統計激活分布,梯度分布,權重分布
tf.audio_summary:
比如:
tf.scalar_summary('標簽',想要記錄的變量) ?
b.定義一個op來將所有的summary operation 合并起來
merged = tf.merge_all_summaries() ?
c.使用graph初始化一個summary_writer
train_writer = tf.train.SummaryWriter(FLAGS.summaries_dir + '/train',sess.graph)??????? ?
d.每隔n step將summary寫入
summary, acc = sess.run([merged, accuracy], feed_dict=feed_dict(False))????????? ?
train_writer.add_summary(summary, i)?
使用:
結構圖:
with?tensorflow?.name_scope(layer_name):?? 直接使用以上代碼生成一個帶可展開符號的一個域,并且支持嵌套操作:
with?tf.name_scope(layer_name):??????with?tf.name_scope('weights'):?? 節點一般是變量或常量,需要加一個“name=‘’”參數,才會展示和命名,如:
with?tf.name_scope('weights'):??????Weights?=?tf.Variable(tf.random_normal([in_size,out_size]))??
結構圖符號及意義:
變量:
變量則可使用Tensorflow.histogram_summary()方法:
tf.histogram_summary(layer_name+"/weights",Weights)??? 常量:
常量則可使用Tensorflow.scalar_summary()方法:
tf.scalar_summary('loss',loss)???
展示:
最后需要整合和存儲SummaryWriter:
??merged?=?tf.merge_all_summaries()????writer?=?tf.train.SummaryWriter("/目錄",sess.graph)?? merged也是需要run的,因此還需要:
result?=?sess.run(merged)???????writer.add_summary(result,i)?? 執行:
運行后,會在相應的目錄里生成一個文件,執行:
tensorboard?--logdir="/目錄"?? 會給出一段網址:
瀏覽器中打開這個網址即可,因為有兼容問題,firefox并不能很好的兼容,建議使用Chrome。
常量在Event中,結構圖在Graphs中,變量在最后兩個Tag中。
附項目代碼:
項目承接自上一篇文章(已更新至最新Tensorflow版本API r1.2):
import?tensorflow?as?tf????import?numpy?as?np????????def?add_layer(inputs,in_size,out_size,n_layer,activation_function=None):???????layer_name="layer%s"?%?n_layer????????with?tf.name_scope(layer_name):????????????with?tf.name_scope('weights'):????????????????Weights?=?tf.Variable(tf.random_normal([in_size,out_size]))???????????????tf.summary.histogram(layer_name+"/weights",Weights)???????????with?tf.name_scope('biases'):????????????????biases?=?tf.Variable(tf.zeros([1,out_size])+0.1)???????????????tf.summary.histogram(layer_name+"/biases",biases)???????????with?tf.name_scope('Wx_plus_b'):????????????????Wx_plus_b?=?tf.matmul(inputs,Weights)+biases???????????????tf.summary.histogram(layer_name+"/Wx_plus_b",Wx_plus_b)???????????if?activation_function?is?None:????????????????outputs?=?Wx_plus_b????????????else:????????????????outputs?=?activation_function(Wx_plus_b)????????????tf.summary.histogram(layer_name+"/outputs",outputs)???????????return?outputs??????????x_data?=?np.linspace(-1,1,300)[:,np.newaxis]???noise?=?np.random.normal(0,0.05,x_data.shape)???y_data?=?np.square(x_data)-0.5+noise????????with?tf.name_scope('inputs'):???????xs?=?tf.placeholder(tf.float32,[None,1],name='x_input')????????ys?=?tf.placeholder(tf.float32,[None,1],name='y_input')??????????l1?=?add_layer(xs,1,10,n_layer=1,activation_function=tf.nn.relu)???prediction?=?add_layer(l1,10,1,n_layer=2,activation_function=None)?????????with?tf.name_scope('loss'):????????loss?=?tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices=[1]))???????tf.summary.scalar('loss',loss)???with?tf.name_scope('train'):????????train_step?=?tf.train.GradientDescentOptimizer(0.1).minimize(loss)???????init?=?tf.initialize_all_variables()????sess?=?tf.Session()??????merged?=?tf.summary.merge_all()??????writer?=?tf.summary.FileWriter("Desktop/",sess.graph)????sess.run(init)?????????for?i?in?range(1000):????????sess.run(train_step,feed_dict={xs:x_data,ys:y_data})????????if?i%50==0:????????????result?=?sess.run(merged,feed_dict={xs:x_data,ys:y_data})???????????writer.add_summary(result,i)??
總結
以上是生活随笔為你收集整理的TensorFlow学习笔记(十二)TensorFLow tensorBoard 总结的全部內容,希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。