當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

用矩阵内积的办法构造迭代次数受控的神经网络1：0.6：0.1=4：3：2

發(fā)布時間：2025/4/5 编程问答 31 豆豆

生活随笔收集整理的這篇文章主要介紹了用矩阵内积的办法构造迭代次数受控的神经网络1：0.6：0.1=4：3：2 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

每個神經(jīng)網(wǎng)絡(luò)對應(yīng)每個收斂標準δ都有一個特征的迭代次數(shù)n，因此可以用迭代次數(shù)曲線n(δ)來評價網(wǎng)絡(luò)性能。

一個二分類網(wǎng)絡(luò),分類兩個對象A和B，B中有K張圖片，B的第i張圖片被取樣的概率為pi,B中第i張圖片相對A的迭代次數(shù)為ni最終的迭代次數(shù)nt等于pi*ni的累加和。

由此可以構(gòu)造兩個矩陣一個是隨機矩陣PJ

PJ表明圖片集B中第i張圖片被抽樣到的概率

和矩陣NJ

NJ表明圖片集B中第i張圖片相對A的迭代次數(shù)

總的迭代次數(shù)nt等于矩陣PJ和NJ的點積

為了驗證這個關(guān)系構(gòu)造了等式

本文驗算這個表達式是否正確

實驗過程

首先用實驗的方法測量n1

制作一個帶一個3*3卷積核的神經(jīng)網(wǎng)絡(luò)，測試集是mnist的0和一張圖片x，將28*28的圖片縮小成9*9，隱藏層30個節(jié)點所以網(wǎng)絡(luò)的結(jié)構(gòu)是

這個網(wǎng)絡(luò)分成兩個部分左邊的是讓mnist 0向1,0收斂，右邊的是讓x向 0,1收斂。但是讓左右兩邊的權(quán)重實現(xiàn)同步更新，實現(xiàn)權(quán)重共享。前面大量實驗表明這種效果相當(dāng)于將兩個彈性系數(shù)為k1，k2的彈簧并聯(lián)成一個彈性系數(shù)為k的彈簧，并且讓k1=k2=k/2的過程。

將上圖簡寫成

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

這個網(wǎng)絡(luò)的收斂標準是

if (Math.abs(f2[0]-y[0])< δ? &&? Math.abs(f2[1]-y[1])< δ?? )

本文嘗試了δ從0.5到1e-6在內(nèi)的26個值，訓(xùn)練集是mnist0,測試集是mnist的0和1

圖片x就是一張二維數(shù)組，讓x=1.

具體進樣順序	?	?	?	?
進樣順序	迭代次數(shù)	?	?	?
δ=0.5	?	?	?	?
mnist 0-1	1	?	判斷是否達到收斂
X	2	?	判斷是否達到收斂
梯度下降	?	?	?	?
mnist 0-2	3	?	判斷是否達到收斂
X	4	?	判斷是否達到收斂
梯度下降	?	?	?	?
……	?	?	?	?
mnist 0-4999	9997	?	判斷是否達到收斂
X	9998	?	判斷是否達到收斂
梯度下降	?	?	?	?
……	?	?	?	?
如果4999圖片內(nèi)沒有達到收斂標準再次從頭循環(huán)			?	?
mnist 0-1	9999	?	判斷是否達到收斂
X	10000	?	判斷是否達到收斂
……	?	?	?	?
達到收斂標準記錄迭代次數(shù)，將這個過程重復(fù)199次		?	?	?
δ=0.4	?	?	?	?
……	?	?	?	?

用這個方法可以得到網(wǎng)絡(luò)

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

的迭代次數(shù)曲線n1。

第二步測量n0.6

用同樣的辦法制作另一個網(wǎng)絡(luò)

d2（mnist0, x=0.6）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

讓mnist 0向1,0收斂，右邊的是讓x向 0,1收斂。但讓x=0.6.得到迭代次數(shù)曲線n0.6

第三步測量n0.1

用同樣的辦法制作另一個網(wǎng)絡(luò)

d2（mnist0, x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

讓mnist 0向1,0收斂，右邊的是讓x向 0,1收斂。但讓x=0.1.得到迭代次數(shù)曲線n0.1

實驗數(shù)據(jù)

在《測量一組對角矩陣的頻率和質(zhì)量》中已經(jīng)將這兩個迭代次數(shù)都測出來了

?	1	0.6	0.1
δ	迭代次數(shù)n	迭代次數(shù)n	迭代次數(shù)n
0.5	17.40201005	18.7839196	17.87437186
0.4	951.2110553	1117.532663	1408.577889
0.3	1144.577889	1415.271357	1720.517588
0.2	1313.633166	1623	1995.110553
0.1	1505.824121	1821.562814	2243.834171
0.01	2362.115578	2582.668342	3001.552764
0.001	4129.020101	3895.211055	4007.532663
1.00E-04	10353.37186	7057.452261	5532.668342
9.00E-05	10653.93467	7175.934673	5683.753769
8.00E-05	11292.43719	7392.497487	6131.934673
7.00E-05	11761.11055	8186.427136	6106.919598
6.00E-05	12657.69347	8620.758794	6014.688442
5.00E-05	13305.44221	9001.532663	6455.321608
4.00E-05	15844.29648	9694.778894	6724.738693
3.00E-05	17291.77387	10665.48241	7055.80402
2.00E-05	20753.56281	11822.9397	7763.41206
1.00E-05	27708.19598	15788.16583	8749.050251
9.00E-06	29358.8593	15766.86935	8879.41206
8.00E-06	30689.87437	16904.54774	9387.150754
7.00E-06	33437.22111	18446.72864	9532.648241
6.00E-06	36960.63819	18505.60302	9957.683417
5.00E-06	40669.92462	19916.76884	10661.56281
4.00E-06	44594.04523	20718.10553	11025.0402
3.00E-06	51522.10553	26158.03518	11653.63317
2.00E-06	67583.53266	26274.55779	13076.9196
1.00E-06	107224.5276	37806.51759	15184.58794

現(xiàn)在做第3個網(wǎng)絡(luò)

d2（mnist0? ; 4x/9=1, 3x/9=0.6，2x/9=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

讓mnist 0向1,0收斂，右邊的是讓x向 0,1收斂。但讓x在1，0.6，0.1之間隨機。讓1：0.6：0.1的比例是4：3：2.

具體進樣順序	?	?	?	?
進樣順序	迭代次數(shù)	?	?	?
δ=0.5	?	?	?	?
mnist 0-1	1	?	判斷是否達到收斂
4x/9=1, 3x/9=0.6，2x/9=0.1	2	?	判斷是否達到收斂
梯度下降	?	?	?	?
mnist 0-2	3	?	判斷是否達到收斂
4x/9=1, 3x/9=0.6，2x/9=0.1	4	?	判斷是否達到收斂
梯度下降	?	?	?	?
……	?	?	?	?
mnist 0-4999	9997	?	判斷是否達到收斂
4x/9=1, 3x/9=0.6，2x/9=0.1	9998	?	判斷是否達到收斂
梯度下降	?	?	?	?
……	?	?	?	?
如果4999圖片內(nèi)沒有達到收斂標準再次從頭循環(huán)			?	?
mnist 0-1	9999	?	判斷是否達到收斂
4x/9=1, 3x/9=0.6，2x/9=0.1	10000	?	判斷是否達到收斂
……	?	?	?	?
達到收斂標準記錄迭代次數(shù)，將這個過程重復(fù)199次		?	?	?
δ=0.4	?	?	?	?
……	?	?	?	?

相當(dāng)于分類兩個圖片集，一個圖片集是mnist的0另一個圖片集只有三張圖片，三張圖片被取樣的概率是4：3：2

得到的數(shù)據(jù)

用0和x二分類	?	?	?	?	?	?	?	?
1：0.6：0.1=4：3：2		?	?	?	?	?	?	?
?	?	?	?	?	?	?	?	?
f2[0]	f2[1]	迭代次數(shù)n	平均準確率p-ave	δ	耗時ms/次	耗時ms/199次	耗時min/199次	最大準確率p-max
0.498465855	0.504407153	15.40201005	0.509835228	0.5	715.7839196	142442	2.374033333	0.822695035
0.607975726	0.391821652	1068.59799	0.488159473	0.4	869.080402	172949	2.882483333	0.894089835
0.714811563	0.28557279	1373.130653	0.548907659	0.3	944.959799	188063	3.134383333	0.995744681
0.815422226	0.184650986	1511.291457	0.594190812	0.2	1010.125628	201031	3.350516667	0.997635934
0.9131958	0.086833451	1666.718593	0.628121696	0.1	1038.889447	206755	3.445916667	0.996690307
0.991909048	0.00809399	2555.060302	0.628088433	0.01	1199.376884	238692	3.9782	0.997635934
0.999220131	7.80E-04	4194.979899	0.578426411	0.001	1489.859296	296483	4.941383333	0.996690307
0.999925034	7.48E-05	8077.261307	0.535775806	1.00E-04	1884.336683	374999	6.249983333	0.992434988
0.999929893	7.01E-05	8569.532663	0.539446642	9.00E-05	2150.693467	427989	7.13315	0.99858156
0.999936335	6.37E-05	9286.849246	0.521059197	8.00E-05	2265.557789	450862	7.514366667	0.996690307
0.999946467	5.35E-05	9572.59799	0.530955011	7.00E-05	2363.477387	470350	7.839166667	0.996690307
0.999953363	4.67E-05	9702.276382	0.545488673	6.00E-05	2383.447236	474308	7.905133333	0.995271868
0.999961078	3.89E-05	10840.82915	0.522461005	5.00E-05	2490.025126	495516	8.2586	0.996217494
0.999968703	3.13E-05	12212.41709	0.550059993	4.00E-05	2731.316583	543536	9.058933333	0.996217494
0.999976775	2.32E-05	13375.83417	0.530218468	3.00E-05	2159.150754	429681	7.16135	0.99858156
0.999983578	1.64E-05	15823.60302	0.534046117	2.00E-05	3254.648241	647681	10.79468333	0.989598109
0.999992049	7.94E-06	20360.31658	0.517267187	1.00E-05	3999.110553	795827	13.26378333	0.963120567
0.999992974	7.02E-06	20639.1005	0.514891241	9.00E-06	4148.809045	825613	13.76021667	0.991962175
0.999993747	6.26E-06	21407.29146	0.524893973	8.00E-06	4191.396985	834088	13.90146667	0.997635934
0.999994533	5.47E-06	25353.76382	0.511042209	7.00E-06	4840.41206	963258	16.0543	0.992434988
0.999995284	4.72E-06	24650.38693	0.527557409	6.00E-06	4721.844221	939647	15.66078333	0.989598109
0.999996007	3.99E-06	27221.62312	0.53021134	5.00E-06	5143.045226	1023466	17.05776667	0.988179669
0.999996817	3.18E-06	29481.81407	0.539643846	4.00E-06	5316.748744	1058033	17.63388333	0.996217494
0.999997542	2.46E-06	35670.74874	0.523297338	3.00E-06	7065.874372	1406110	23.43516667	0.997635934
0.999998413	1.59E-06	43239.72362	0.521408461	2.00E-06	9577.733668	1905969	31.76615	0.990543735
0.999999173	8.26E-07	64535.65327	0.510597907	1.00E-06	13978.8995	2781817	46.36361667	0.978250591

所以現(xiàn)在有了3個迭代次數(shù)分別是

x=1				n1		?
x=0.6				n0.6		?
x=0.1				n0.1		?
4x/9=1\|\|3x/9=0.6\|\|2x/9=0.1				n1-0.6-0.1		?
?				?		?
?	1	0.6	0.1		理論值		實測值	理論值/實測值
δ	迭代次數(shù)n	迭代次數(shù)n	迭代次數(shù)n		n14/9+n0.63/9+n0.1*2/9
0.5	17.40201005	18.7839196	17.87437186		17.96761586		15.40201005	1.166576038
0.4	951.2110553	1117.532663	1408.577889		1108.288666		1068.59799	1.037142757
0.3	1144.577889	1415.271357	1720.517588		1362.795645		1373.130653	0.992473398
0.2	1313.633166	1623	1995.110553		1568.194863		1511.291457	1.037652172
0.1	1505.824121	1821.562814	2243.834171		1775.072585		1666.718593	1.06501037
0.01	2362.115578	2582.668342	3001.552764		2577.730318		2555.060302	1.008872596
0.001	4129.020101	3895.211055	4007.532663		4024.086544		4194.979899	0.959262414
1.00E-04	10353.37186	7057.452261	5532.668342		8183.464545		8077.261307	1.013148422
9.00E-05	10653.93467	7175.934673	5683.753769		8390.116695		8569.532663	0.979063506
8.00E-05	11292.43719	7392.497487	6131.934673		8845.67895		9286.849246	0.952495159
7.00E-05	11761.11055	8186.427136	6106.919598		9313.062535		9572.59799	0.972887668
6.00E-05	12657.69347	8620.758794	6014.688442		9835.825237		9702.276382	1.013764693
5.00E-05	13305.44221	9001.532663	6455.321608		10348.55667		10840.82915	0.954590884
4.00E-05	15844.29648	9694.778894	6724.738693		11767.88889		12212.41709	0.96360031
3.00E-05	17291.77387	10665.48241	7055.80402		12808.35008		13375.83417	0.957573929
2.00E-05	20753.56281	11822.9397	7763.41206		14889.98827		15823.60302	0.940998599
1.00E-05	27708.19598	15788.16583	8749.050251		19521.7091		20360.31658	0.958811668
9.00E-06	29358.8593	15766.86935	8879.41206		20277.20771		20639.1005	0.98246567
8.00E-06	30689.87437	16904.54774	9387.150754		21360.82691		21407.29146	0.997829499
7.00E-06	33437.22111	18446.72864	9532.648241		23128.26298		25353.76382	0.912222073
6.00E-06	36960.63819	18505.60302	9957.683417		24808.30318		24650.38693	1.006406238
5.00E-06	40669.92462	19916.76884	10661.56281		27083.68118		27221.62312	0.994932634
4.00E-06	44594.04523	20718.10553	11025.0402		29175.61977		29481.81407	0.989614129
3.00E-06	51522.10553	26158.03518	11653.63317		34207.75489		35670.74874	0.958986175
2.00E-06	67583.53266	26274.55779	13076.9196		41701.29369		43239.72362	0.964420912
1.00E-06	107224.5276	37806.51759	15184.58794		63631.87102		64535.65327	0.985995613

從數(shù)值看

這個公式還是符合的很好的。

表明神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)可以被看作是一個線性變量可以用概率矩陣和迭代次數(shù)矩陣的點積來計算。

將兩組圖片分組應(yīng)該至少區(qū)分點的分布，數(shù)值大小和對稱關(guān)系這3個屬性，在實驗

《圖片的三種可能屬性：點的分布規(guī)律，數(shù)值大小，對稱關(guān)系》以表明迭代次數(shù)曲線不攜帶對稱關(guān)系屬性。所以盡管迭代次數(shù)可能是連續(xù)的，有很多種可能構(gòu)造出同一個值，但并不表明有相同的分辨能力，

實驗參數(shù)

學(xué)習(xí)率 0.1

權(quán)重初始化方式

Random rand1 =new Random();

int ti1=rand1.nextInt(98)+1;

int xx=1;

if(ti1%2==0)

{ xx=-1;}

tw[a][b]=xx*((double)ti1/x);

第一層第二層和卷積核的權(quán)重的初始化的x分別為1000,1000,200

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的用矩阵内积的办法构造迭代次数受控的神经网络1：0.6：0.1=4：3：2的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

上一篇：二分类吸引子，排斥子，鞍点和反鞍点数据汇
下一篇：知道的回复下爱迪雅门窗是十大品牌门窗高