上文特征的提取(上）

特征哈希向量

詞袋模型的方法很好用，也很直接，但在有些場景下很難使用，比如分詞后的詞匯字典表非常大， 達(dá)到100萬+，此時(shí)如果直接使用詞頻向量或Tf-idf權(quán)重向量的方法，將對應(yīng)的樣本對應(yīng)特征矩陣載 入內(nèi)存，有可能將內(nèi)存撐爆，在這種情況下我們該怎么辦呢？
詞袋模型的方法很好用，也很直接，但在有些場景下很難使用，比如分詞后的詞匯字典表非常大， 達(dá)到100萬+，此時(shí)如果直接使用詞頻向量或Tf-idf權(quán)重向量的方法，將對應(yīng)的樣本對應(yīng)特征矩陣載 入內(nèi)存，有可能將內(nèi)存撐爆，在這種情況下我們該怎么辦呢？
我們可以應(yīng)用哈希技巧進(jìn)行降維。

Hash函數(shù)可以將一個(gè)任意長度的字符串映射到一個(gè)固定長度的散列數(shù)字中去。Hash函數(shù)是一種典 型的多對一映射。

• 正向快速：給定明文和 hash 算法，在有限時(shí)間和有限資源內(nèi)能計(jì)算出 hash 值。
• 逆向困難：給定（若干） hash 值，在有限時(shí)間內(nèi)很難（基本不可能）逆推出明文。
• 輸入敏感：原始輸入信息修改一點(diǎn)信息，產(chǎn)生的 hash 值看起來應(yīng)該都有很大不同。
• 碰撞避免：很難找到兩段內(nèi)容不同的明文，使得它們的 hash 值一致（發(fā)生碰撞）。即對 于任意兩個(gè)不同的數(shù)據(jù)塊，其hash值相同的可能性極??；對于一個(gè)給定的數(shù)據(jù)塊，找到和 它hash值相同的數(shù)據(jù)塊極為困難。

與50位技術(shù)專家面對面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的sklearn特征的提取(下）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。