鄭重聲明:本項目的所有代碼和相關文章, 僅用于經驗技術交流分享,禁止將相關技術應用到不正當途徑,因為濫用技術產生的風險與本人無關。
這篇文章是公眾號《云爬蟲技術研究筆記》的《2019年末逆向復習系列》的第四篇:《今日頭條WEB端_signature、as、cp參數逆向分析》
本次案例的代碼都已上傳到Review_Reverse上面,后面會持續更新,大家可以Fork一波。
逆向背景
今日頭條算是新聞聚合領域的霸主了,它首創的推薦算法也是被后續的新聞聚合平臺爭相模仿,雖然現在今日頭條平臺逐漸下沉,面向的讀者群也越來越“俗化”,它的自媒體紅利期也漸漸過去。但是畢竟作為第一大資訊平臺,它的流量以及內容時效性都會不可小覷的。
上一次分析頭條的時候大概是今年年初的時候,那時候為了做自然語言處理采集了他們的文章做語料。現在重新來分析他們的參數,看看他們的加密方式是不是改變了。
分析流程與逆向破解
如題所示,我們這次需要分析的是它的_signature、as、cp參數,也就是來自于他們獲取新聞的接口
可以看到,這個接口很明顯是首頁Feed流數據的接口,我們具體看看這里面的參數
min_behot_time: 0
category: __all__
utm_source: toutiao
widen: 1
tadrequire: true
as: A1C50D8EF357F93
cp: 5DE387EF3933DE1
_signature: ICnfJAAgEBpV2FR6HfGzUCAp3zAAH3S
比較重要的我們猜大概就是as,cp,_signature,而min_behot_time的值是0,
我們在看看之后的Feed流數據的接口是什么樣的
max_behot_time: 1575190175
category: __all__
utm_source: toutiao
widen: 1
tadrequire: true
as: A1D5FD3ED317EE1
cp: 5DE3678E8E41AE1
_signature: YzovjgAgEB0Wy6TQXOBj3mM6L5AAD7d
大部分上看是相同的,但是min_behot_time換成了max_behot_time字段,而且這個值看上去是從之前的首頁Feed流中返回回來的
整體流程大致就是這樣,我們下面去分析它的幾個參數
1. 尋找加密參數的加密方法位置
首先,我們現在需要分析三個加密參數,as,cp,_signature,從參數的常見性來說,我們選擇搜索_signature參數,因為它相比于其他兩個參數來說,match的代碼塊會少點,我們比較好找,我們可以對比下。
恐怖的151處和3處,而且這3處還是在同一個js文件,那我們直接選擇這個index.2c1dc950e325e1470bb8.js這個文件跟進去,一共就5處,我們直接在這個文件搜索_signature字符,找到了這個地方比較像加密的地方
我們仔細看看這塊代碼段,看看as,cp參數是不是也在這里生成
{key: "_getData", //K,V結構的Js,看來這段代碼是獲取數據的接口的參數配置value: function(t, e, i) {var n = this;if (!this.lock) { //估計是控制并發的,并發鎖?this.lock = !0,this._setParams(t); //設置參數? 難道是as、cp?var a = function() {n.lock = !1,i && i()}, o = this._getSignature(this.url, this.params); //可以看到,這個地方加密了_signature參數(0,d.default)({url: this.url,data: (0,s.default)({}, this.params, {_signature: o}),success: function(i) {var s = i || {}, o = s.data || [], r = o.length, l = s.next && s.next.max_behot_time;"success"=== s.message && r && (n._qihuAdInsert(o), o = n._dataPreHandle(o),"refresh" === t ? (n._refreshItem = {refresh_mode: !0,behot_time: l,time_age: (0,p.timeAgo)(l),_index: o.length},n.list = o.concat(n.list)) : n.list = n.list.concat(o),e && e(n.getList(), r)),a()},error: function() {a()}})}}
}
初步靜態分析是這樣,我們調試一下,看看具體的值
看看用來計算_signature的值,是url和params,看來as和cp在這之前已經計算好值了,推測是this._setParams,我們在那里打個斷點試試
2. 分析as、cp加密算法
我們跳到this._setParams這個方法,可以看到確實是這個方法產生了as,cp,而且如果t的值是refresh,就說明是刷新,需要從min_behot_time這個參數開始請求,如果不是,那就繼續根據max_behot_time繼續往下請求。
我們繼續往下跳
可以看到這里是具體的加密方法,之后的話就是扣具體的js代碼,算法比較簡單,大家可以繼續往下扣
類似這樣
3. 分析_signature加密算法
在今年年初分析的時候,_signature的加密算法是可以從這里得出,也就是Tac.sign的算法
算法類似于
Function(function(t) {return '�e(e,a,r){�(b[e]||(b[e]=t("x,y","�x "+e+" y"�)(r,a)}�a(e,a,r){�(k[r]||(k[r]=t("x,y","�new x[y]("+Array(r+1).join(",x[�y]")�(1)+")"�)(e,a)}�r(e,a,r){�n,t,s={},b=s.d=r?r.d+1:0;for(s["$"+b]=s,t=0;t<b;t�)s[n="$"+t]=r[n];for(t=0,b=s�=a�;t<b;t�)s[t]=a[t];�c(e,0,s)}�c(t,b,k){�u(e){v[x�]=e}�f�{�g=�,t�ing(b�g)}�l�{try{y=c(t,b,k)}catch(e){h=e,y=l}}for(�h,y,d,g,v=[],x=0;;)switch(g=�){case 1:u(!�)�4:�f��5:u(�(e){�a=0,r=e�;���{�c=a<r;�c&&u(e[a�]),c}}(���6:y=�,u(�(y��8:if(g=�,l��g,g=�,y===c)b+=g;else if(y!==l)�y�9:�c�10:u(s(���11:y=�,u(�+y)�12:for(y=f�,d=[],g=0;g<y�;g�)d[g]=y.charCodeAt(g)^g+y�;u(String.fromCharCode.apply(null,d��13:y=�,h=delete �[y]�14:���59:u((g=�)?(y=x,v.slice(x-=g,y�:[])�61:u(�[�])�62:g=�,k[0]=65599*k[0]+k[1].charCodeAt(g)>>>0�65:h=�,y=�,�[y]=h�66:u(e(t[b�],�,���67:y=�,d=�,u((g=�).x===c?r(g.y,y,k):g.apply(d,y��68:u(e((g=t[b�])<"<"?(b--,f�):g+g,�,���70:u(!1)�71:�n�72:�+f��73:u(parseInt(f�,36��75:if(�){b��case 74:g=�<<16>>16�g�76:u(k[�])�77:y=�,u(�[y])�78:g=�,u(a(v,x-=g+1,g��79:g=�,u(k["$"+g])�81:h=�,�[f�]=h�82:u(�[f�])�83:h=�,k[�]=h�84:�!0�85:�void 0�86:u(v[x-1])�88:h=�,y=�,�h,�y�89:u(��{�e�{�r(e.y,arguments,k)}�e.y=f�,e.x=c,e}�)�90:�null�91:�h�93:h=��0:��;default:u((g<<16>>16)-16)}}�n=this,t=n.Function,s=Object.keys||�(e){�a={},r=0;for(�c in e)a[r�]=c;�a�=r,a},b={},k={};�r'.replace(/[�-�]/g, function(e) {return t[15 & e.charCodeAt(0)]})
}("v[x++]=�v[--x]�t.charCodeAt(b++)-32�function �return �))�++�.substr�var �.length�()�,b+=�;break;case �;break}".split("�")))()('gr$Daten Иb/s!l y?y?g,(lfi~ah`{mv,-n|jqewVxp{rvmmx,&eff�kx[!cs"l".Pq%widthl"@q&heightl"vr*getContextx$"2d[!cs#l#,*;?|u.|uc{uq$fontl#vr(fillTextx$$龘???2<[#c}l#2q*shadowBlurl#1q-shadowOffsetXl#$$limeq+shadowColorl#vr#arcx88802[%c}l#vr&strokex[ c}l"v,)}eOmyoZB]mx[ cs!0s$l$Pb<k7l l!r&lengthb%^l$1+s$j�l s#i$1ek1s$gr#tack4)zgr#tac$! +0o![#cj?o ]!l$b%s"o ]!l"l$b*b^0d#>>>s!0s%yA0s"l"l!r&lengthb<k+l"^l"1+s"j�l s&l&z0l!$ +["cs\'(0l#i\'1ps9wxb&s() &{s)/s(gr&Stringr,fromCharCodes)0s*yWl ._b&s o!])l l Jb<k$.aj;l .Tb<k$.gj/l .^b<k&i"-4j!�+& s+yPo!]+s!l!l Hd>&l!l Bd>&+l!l <d>&+l!l 6d>&+l!l &+ s,y=o!o!]/q"13o!l q"10o!],l 2d>& s.{s-yMo!o!]0q"13o!]*Ld<l 4d#>>>b|s!o!l q"10o!],l!& s/yIo!o!].q"13o!],o!]*Jd<l 6d#>>>b|&o!]+l &+ s0l-l!&l-l!i\'1z141z4b/@d<l"b|&+l-l(l!b^&+l-l&zl\'g,)gk}ejo{�cm,)|yn~Lij~em["cl$b%@d<l&zl\'l $ +["cl$b%b|&+l-l%8d<@b|l!b^&+ q$sign ', [TAC = {}]);
我們看看現在它的算法有沒有改變,我們打斷點再跳到_getSignature這個方法看看
可以看出,主要加密部分是g.sign部分,看看g.sign究竟是什么算法
是個js的anonymous算法,展開算法看看
這段代碼使用了我們之前說的控制流平坦化,把代碼邏輯變成統一的入口管理,我們不細摳這段js,
我們換個思路來查看這個方法,之前我們定位的是g.sign,這次我們換換思路,定位g對象試試,我們在剛才的g.sign處往上找,看看有沒有g對象
找到g對象了,我們往下跳,到了這個位置
下面這段代碼中,涉及函數調用的是e[a].call,我們可以看看e[a]是什么東西?
function (e) {function t(a) {if (o[a]) return o[a].exports;var r = o[a] = {exports: {},id: a,loaded: !1};return e[a].call(r.exports, r, r.exports, t),r.loaded = !0,r.exports}
可以看到e[a]是個anonymous方法,和我們之前看到的sign加密方法很像,我們進去看看
看到這段熟悉的代碼,心里一熱,算法還是沒變,和之前的一樣,那我們就可以直接拿來用了,照著之前那個t方法改寫下
var o ={};
var e = function(a) {var r = {exports: {},id: a,loaded: !1};return x.call(r.exports, r, r.exports, e),r.loaded = !0,r.exports
};var x = function(t, e) {Function(function(t) {return 'e(e,a,r){(b[e]||(b[e]=t("x,y","x "+e+" y")(r,a)}a(e,a,r){(k[r]||(k[r]=t("x,y","new x[y]("+Array(r+1).join(",x[y]")(1)+")")(e,a)}r(e,a,r){n,t,s={},b=s.d=r?r.d+1:0;for(s["$"+b]=s,t=0;t<b;t)s[n="$"+t]=r[n];for(t=0,b=s=a;t<b;t)s[t]=a[t];c(e,0,s)}c(t,b,k){u(e){v[x]=e}f{g=,ting(bg)}l{try{y=c(t,b,k)}catch(e){h=e,y=l}}for(h,y,d,g,v=[],x=0;;)switch(g=){case 1:u(!)4:f5:u((e){a=0,r=e;{c=a<r;c&&u(e[a]),c}}(6:y=,u((y8:if(g=,lg,g=,y===c)b+=g;else if(y!==l)y9:c10:u(s(11:y=,u(+y)12:for(y=f,d=[],g=0;g<y;g)d[g]=y.charCodeAt(g)^g+y;u(String.fromCharCode.apply(null,d13:y=,h=delete [y]14:59:u((g=)?(y=x,v.slice(x-=g,y:[])61:u([])62:g=,k[0]=65599*k[0]+k[1].charCodeAt(g)>>>065:h=,y=,[y]=h66:u(e(t[b],,67:y=,d=,u((g=).x===c?r(g.y,y,k):g.apply(d,y68:u(e((g=t[b])<"<"?(b--,f):g+g,,70:u(!1)71:n72:+f73:u(parseInt(f,3675:if(){bcase 74:g=<<16>>16g76:u(k[])77:y=,u([y])78:g=,u(a(v,x-=g+1,g79:g=,u(k["$"+g])81:h=,[f]=h82:u([f])83:h=,k[]=h84:!085:void 086:u(v[x-1])88:h=,y=,h,y89:u({e{r(e.y,arguments,k)}e.y=f,e.x=c,e})90:null91:h93:h=0:;default:u((g<<16>>16)-16)}}n=this,t=n.Function,s=Object.keys||(e){a={},r=0;for(c in e)a[r]=c;a=r,a},b={},k={};r'.replace(/[-]/g, function(e) {return t[15 & e.charCodeAt(0)]})}("v[x++]=v[--x]t.charCodeAt(b++)-32function return ))++.substrvar .length(),b+=;break;case ;break}".split("")))()('gr$Daten Иb/s!l y?y?g,(lfi~ah`{mv,-n|jqewVxp{rvmmx,&effkx[!cs"l".Pq%widthl"@q&heightl"vr*getContextx$"2d[!cs#l#,*;?|u.|uc{uq$fontl#vr(fillTextx$$龘???2<[#c}l#2q*shadowBlurl#1q-shadowOffsetXl#$$limeq+shadowColorl#vr#arcx88802[%c}l#vr&strokex[ c}l"v,)}eOmyoZB]mx[ cs!0s$l$Pb<k7l l!r&lengthb%^l$1+s$jl s#i$1ek1s$gr#tack4)zgr#tac$! +0o![#cj?o ]!l$b%s"o ]!l"l$b*b^0d#>>>s!0s%yA0s"l"l!r&lengthb<k+l"^l"1+s"jl s&l&z0l!$ +["cs\'(0l#i\'1ps9wxb&s() &{s)/s(gr&Stringr,fromCharCodes)0s*yWl ._b&s o!])l l Jb<k$.aj;l .Tb<k$.gj/l .^b<k&i"-4j!+& s+yPo!]+s!l!l Hd>&l!l Bd>&+l!l <d>&+l!l 6d>&+l!l &+ s,y=o!o!]/q"13o!l q"10o!],l 2d>& s.{s-yMo!o!]0q"13o!]*Ld<l 4d#>>>b|s!o!l q"10o!],l!& s/yIo!o!].q"13o!],o!]*Jd<l 6d#>>>b|&o!]+l &+ s0l-l!&l-l!i\'1z141z4b/@d<l"b|&+l-l(l!b^&+l-l&zl\'g,)gk}ejo{cm,)|yn~Lij~em["cl$b%@d<l&zl\'l $ +["cl$b%b|&+l-l%8d<@b|l!b^&+ q$sign ', [Object.defineProperty(e, "__esModule", {value: !0})])
};var get_signature = function(i){var a = 299;var tac = e(a);return tac.sign(i)
};console.log(get_signature(0));
我們運行之后會發現,報錯如下
缺少userAgent的屬性,那我們全局定義一個
global.navigator = {userAgent: 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
}
得到了正確的結果
4. 總結思路
綜上所分析的思路,我們可以畫出下面的as,cp,_signature參數獲取流程
代碼實戰
有了上面這個分析流程,我們就可以開始Coding了,首先是as,cp的加密方法
然后是_signature的加密方法,ua參數是我們傳入的
最后使用python匯總一下
結合采集場景
復習要點
從這個復習的案例我們可以總結以下思路:
?1.當加密參數有多個的時候,觀察哪個參數是不常見的,代碼Match盡量少的去全局搜索、分析。
?2.當加密方法混淆程度高,迭代深的時候,換個方法去尋找最后的加密方法,比如剛才的g.sign變成去尋找g參數。
?3.運行js加密方法的時候,真理就是缺啥補啥,如同我們剛才運行方法的時候缺少了ua參數,我們就定一個全局的ua參數,或者我們缺少某個對象的時候,補充就好了。
?
總結
以上是生活随笔為你收集整理的2019年末逆向复习系列之今日头条WEB端_signature、as、cp参数逆向分析的全部內容,希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。