指數(shù)衰減率
先用較大的學(xué)習(xí)率快速迭代，得到一個(gè)較優(yōu)的解。然后，指數(shù)衰減法生效，隨著迭代的繼續(xù)逐步減少學(xué)習(xí)率，這樣，可以得到更穩(wěn)定的解。
decayed_learning_rate=learning_rate*decay_rate^(global_step/decay_steps)
decay_rate衰減系數(shù)
decay_steps衰減速度
當(dāng)staircase為True，則global_step/decay_steps為整數(shù)（學(xué)習(xí)率下降階梯），否則為浮點(diǎn)數(shù)（學(xué)習(xí)率下降平滑）。

globalStep=tf.Variable(0)
learningRate=tf.train.exponential_decay(0.1,globalStep,100,0.96,staircase=True)
learningStep=tf.train.GradientDescentOptimizer(learningRate).minimize(losss,global_step=globalStep)
正則化
正則化可避免過擬合，模型的復(fù)雜程度，由神經(jīng)網(wǎng)絡(luò)的所有參數(shù)決定，w和b，一般是由權(quán)重w決定。
1.L1正則化
L1:

L2:

L1使參數(shù)變得稀疏，很多參數(shù)會(huì)為0，這樣，可以達(dá)到類似特征提取的作用。L1不可導(dǎo)。
L2公式可導(dǎo)，所以對(duì)其優(yōu)化更簡(jiǎn)潔，但其沒有稀疏作用。
可將2個(gè)正則化一起使用

#L2 loss=tf.reduce_mean(tf.square(y_-y)+tf.contrib.layers.l2_regularizer(lambda)(w) #lambda為正則化權(quán)重,即：R(w)*lambda #L1 loss=tf.reduce_mean(tf.square(y_-y)+tf.contrib.layers.l1_regularizer(lambda)(w)

總結(jié)

以上是生活随笔為你收集整理的tensorflow随笔-正则化与指数衰减率的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。