mmd python error_python_mmdt:一种基于敏感哈希生成特征向量的python库(一)
概述
python_mmdt是一種基于敏感哈希的特征向量生成工具。核心算法使用C實現，提高程序執行效率。同時使用python進行封裝，方便研究人員使用。 本篇幅主要介紹涉及的相關基本內容與使用，相關內容的詳細說明，后續詳細探討。
重點內容
重點內容，包括三個方面：對象歸一化：數據的重采樣
局部敏感哈希函數的定義：特征向量的生成
特征向量的應用：距離計算、相似度計算、分類、聚類
重點假設數據的重采樣方法無條件適用于研究對象，且重采樣的過程會部分保留原始數據的差異性與相似性
重采樣之后的單個數據點(隨機變量)是滿足獨立同分布的
N取值很大時，敏感哈希函數值分布近似于正態分布，則落在指定區間內的局部敏感哈希值是有效的
基本過程
1. 數據重采樣
我們的研究對象常常是不同的文件格式，不同的文件大小，如何方便的處理這類格式不同，大小不一的文件呢？方法有很多種，這里我們使用采樣的方法。
采樣原始定義：采樣是將信號從連續時間域上的模擬信號轉換到離散時間域上的離散信號的過程。
下采樣定義：對于一個樣值序列間隔幾個樣值取樣一次，這樣得到新序列就是原序列的下采樣。
通過重采樣(本工具中特指下采樣)，我們讓對象數據都處于相同的維度(大小)。這樣，就可以比較方便地定義我們自己的局部敏感哈希函數。
python_mmdt使用Lanczos采樣方法。
2. 局部敏感哈希函數
局部敏感哈希的基本概念局部敏感哈希(Locality Sensitive Hashing，LSH)的基本思想類似于一種空間域轉換思想，LSH算法基于一個假設，如果兩個文本在原有的數據空間是相似的，那么分別經過哈希函數轉換以后的它們也具有很高的相似度；相反，如果它們本身是不相似的，那么經過轉換后它們應仍不具有相似性。
通過重采樣之后的數據，我們假設其滿足獨立同分布。同時，我們將重采樣的數據，平均分成N塊，每塊之間的數據進行累計求和，和值分布近似服從正態分布，我們取和值高x位的一個byte做為本塊數據的敏感哈希值。
例如：51030000:D6E26822530202020202020202020202：51030000是4字節索引敏感哈希，D6E26822530202020202020202020202是16字節敏感哈希
4F454750:A4B58A07235B23F13B2F244A9B8A547B：4F454750是4字節索引敏感哈希，A4B58A07235B23F13B2F244A9B8A547B是16字節敏感哈希
3. 特征向量的應用
1. 簡單應用
簡單應用如，索引敏感哈希可以轉成一個int32的數字，當索引敏感哈希相等時，再比較敏感哈希的距離(如曼哈頓距離，將敏感哈希轉成N個unsigned char類型計算敏感哈希，此時00和FF之間的距離可算作1，也可算作255，具體看實現)。
2. 復雜應用
由于特征向量的維度是固定的，因此可以很方便的使用其他數學方法，進行大規模計算。如結合矩陣運算，快速得到上萬特征向量(樣本)的相似度矩陣，
如用于機器學習的分類(KNN)、聚類(Kmeans)等
安裝
依賴cmake: 2.6及以上版本
windows: 當前版本(0.0.3)安裝需要配置minGW編譯C代碼
pip安裝
$ pip install python_mmdt
通過whl包安裝(免編譯)
.whl 從
$ pip install python_mmdt-xxx.whl
使用
命令行
安裝之后，可以通過命令行，快速計算敏感hash或比較兩個文件相似度
# calculate mmdt sensitive
$ mmdt-hash $file_path
# calculate file similarity
$ mmdt-compare $file_path1 $file_path2
python code
用作python庫，導入編碼使用
# -*- coding: utf-8 -*-
import unittest
import os
from python_mmdt.mmdt.mmdt import MMDT
class Testmmdt(unittest.TestCase):
def test_process(self):
mmdt = MMDT()
test_path = os.path.dirname(__file__)
test_samples = os.path.join(test_path, "samples")
files = os.listdir(test_samples)
for f in files:
file_path = os.path.join(test_samples, f)
r1 = mmdt.mmdt_hash(file_path)
print(r1)
r2 = mmdt.mmdt_hash_streaming(file_path)
print(r2)
sim1 = mmdt.mmdt_compare(file_path, file_path)
print(sim1)
sim2 = mmdt.mmdt_compare_hash(r1, r2)
print(sim2)
示例
拷貝一份當前項目的setup.py，命名為setup_1.py。
setup_1.py進行兩種變換：使用大寫字母E全局替換小寫字母e
使用ee全局替換大寫字母E
計算mmdt_hash等于0.9811928175556364。
vim對比圖如：
md5、文件大小、mmdt_hash信息圖如：
其他
由于敏感哈希采用累計求和的方式，和值近似服從正態分布，所以由此計算出來的相似度，絕大部分會分布在u值附近區間內。在這塊區間內的相似度，其實價值很低的。相反的，在這個區間外的，如正態分布的兩側數據，價值就很高了。相似度越高的表示真的越相似，相似度越低的表示真的越不相似。而落在中間取值范圍，價值就小很多。
如比較項目中的setup.py和LICENSE，相似度0.62左右，但價值不大：
總結
以上是生活随笔為你收集整理的mmd python error_python_mmdt:一种基于敏感哈希生成特征向量的python库(一)的全部內容，希望文章能夠幫你解決所遇到的問題。
