• 最近聚簇計(jì)算相似度，使用了下面兩種方法。
  • 一開始用的sklearn，因?yàn)闆]有g(shù)pu
  • 后來有了gpu就換上了pytorch
    • gpu是V100
  • batch=500(說是batch，只是為了預(yù)防超出內(nèi)存，做的限制。
  • 跑的是個循環(huán)
  • 速度大概是這樣子的：
    • torch的cosine：cpu 3s/it,gpu v100 1.8s/it
    • sklear:cpu 50it/s
• 總之這個速度差就很離譜，有誰能做個解釋嗎？

from sklearn.metrics.pairwise import cosine_similarity emb_sim = torch.cosine_similarity(torch.tensor([update_text['embed']],device=self.device), torch.tensor(cluster_embed,device=self.device))#返回尺寸[batch,] 和 emb_sim = cosine_similarity(np.array([update_text['embed']]), np.array(cluster_embed))#返回[1,batch]

總結(jié)

以上是生活随笔為你收集整理的cosine_similarity和torch.cosine_similarity速度差异（人间奇事）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。