文本預處理：

? 假設抓取的數據就是HTML。比如這種：

<div id="container"><div class="corner_top"></div><div class="common_hd clearfix"><div class="fl commend">甲磺酸伊馬替尼膠囊<div class="starout"><form class="star-rate-form" action="" methos="post"><input name="star" type="radio" class="star" value="1" title="很差" /><input name="star" type="radio" class="star" value="2" title="較差" /><input name="star" type="radio" class="star" value="3" title="還行" /><input name="star" type="radio" class="star" value="4" title="推薦" /><input name="star" type="radio" class="star" value="5" title="力薦" /></form><span id="starrate-result"></span><span id="drug-starrate-result"></span></div></div><div id="dialog-login"><div>只有認證醫師才能評分，請<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><span style="color:blue"> 登錄 </span></a>或 <a href="http://i.dxy.cn/doctor/identify?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><span style="color:blue"> 認證 </span></a></div></div><div class="fr f12 result-status" id="share"><ul class="ShareThis"><li class="copy"><a href="javascript:void((function(){var href = 'http://drugs.dxy.cn/drug/92161/detail.htm'; if(window.clipboardData) { clipboardData.setData('Text', href); alert('復制成功,請粘貼到你的QQ/MSN上推薦給你的好友！'); } else { prompt('你使用的是非IE核心瀏覽器，請按下 Ctrl+C 復制代碼到剪貼板', href); }})())">復制網址</a></li><li class="sina"><a href="javascript:void((function(){var title = '格列衛說明書(甲磺酸伊馬替尼膠囊) 格列衛副作用', href = 'http://drugs.dxy.cn/drug/92161/detail.htm'; var api = 'http://service.weibo.com/share/share.php?appkey=1611508056&ralateUid=2473225961' + '&title=' + encodeURIComponent(title) + '&url=' + encodeURIComponent(href) + '&content=' + (document.charset || 'gbk'); window.open(api, '_blank', 'toolbar=0,status=0,resizable=1,width=440,height=430,' + 'left=' + (screen.width-440)/2 + ',top=' + (screen.height-430)/2 );})())">新浪微博</a></li></ul></div></div><div class="common_bd clearfix"><div class="common_mainwrap fl"><div class="common_main mr260"><div class="m49 detail detail1"><dl><dt><span class="fl">藥品名稱:</span></dt><dd>通用名稱：甲磺酸伊馬替尼膠囊<br/>英文名稱：Glivec (Imatinib Mesylate Capsules)<br/>商品名稱：格列衛<br/></dd><dt><span class="fl" id="2">成份:</span></dt><dd>本品活性成份為甲磺酸伊馬替尼。 </dd><dt><span class="fl" id="3">適應癥:</span><a href="#3" onclick="showDrugDetail(this,92161,3)" class="bg fr"></a></dt><dd id="92161_3">用于治療費城染色體陽性的慢性髓性白血病（Ph+ CML）的慢性期、加速期或急變期；用于治療不能切除和/或發生轉移的惡性胃腸道間質瘤（GIST）的成人患者；聯合化療治療新診斷的費城染色體陽性急性淋巴細胞... </dd><dd id="92161_3_detail" style="display:none">該信息登錄才能查看，請<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登錄</font></a></dd><dt><span class="fl" id="4">用法用量:</span><a href="#4" onclick="showDrugDetail(this,92161,4)" class="bg fr"></a></dt><dd id="92161_4">治療應由對惡性腫瘤患者有治療經驗的醫師進行。甲磺酸伊馬替尼應在進餐時服用，并飲一大杯水，以使胃腸道紊亂的風險降到最小。通常成人每日一次，每次400mg或600mg，以及日服用量800mg即400mg劑... </dd><dd id="92161_4_detail" style="display:none">該信息登錄才能查看，請<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登錄</font></a></dd><dt><span class="fl" id="14">不良反應:</span><a href="#14" onclick="showDrugDetail(this,92161,14)" class="bg fr"></a></dt><dd id="92161_14">晚期惡性腫瘤患者可能會出現相互混雜的臨床癥狀，但由于它們與潛在疾病、疾病本身進展、以及同時服用多種藥物有關，因此常難以明確它們的因果關系。 一般來說，包括兒科在內的CML患者長期每日口服本品的耐受性較... </dd><dd id="92161_14_detail" style="display:none">該信息登錄才能查看，請<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登錄</font></a></dd><dt><span class="fl" id="12">禁忌:</span></dt><dd>對本藥活性物質或任何賦形劑成份過敏者禁用。 </dd><dt><span class="fl" id="13">注意事項:</span><a href="#13" onclick="showDrugDetail(this,92161,13)" class="bg fr"></a></dt><dd id="92161_13">已有報道，本品治療的患者有明顯的左心室射血分數（LVEF）減少，以及充血性心力衰竭的癥狀。在動物實驗中顯示，c-ABL酶抑制劑能引起心肌細胞的強烈反應，大鼠的致癌性試驗中，已有心肌疾病的報道。因此，對... </dd><dd id="92161_13_detail" style="display:none">該信息登錄才能查看，請<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登錄</font></a></dd><dt><span class="fl" id="6">藥物相互作用:</span><a href="#6" onclick="showDrugDetail(this,92161,6)" class="bg fr"></a></dt><dd id="92161_6">可改變伊馬替尼血漿濃度的藥物CYP3A4抑制劑： 健康受試者同時服用單劑酮康唑（CYP3A4抑制劑）后，伊馬替尼的藥物暴露量顯著增加（平均最高血漿濃度（Cmax）和伊馬替尼曲線下面積（AUC）可分別增... </dd><dd id="92161_6_detail" style="display:none">該信息登錄才能查看，請<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登錄</font></a></dd><dt><span class="fl" id="48">臨床試驗:</span><a href="#48" onclick="showDrugDetail(this,92161,48)" class="bg fr"></a></dt><dd id="92161_48">以下均為國外研究報道。慢性髓性白血病臨床研究 對Ph+慢性髓性白血病急變期、加速期和經&alpha;-干擾素（INF）治療失敗的慢性期患者進行了三項開放、非對照性的II期臨床研究。在一項大規模、開放、對照的III... </dd><dd id="92161_48_detail" style="display:none">該信息登錄才能查看，請<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登錄</font></a></dd><dt><span class="fl" id="27">毒理研究:</span><a href="#27" onclick="showDrugDetail(this,92161,27)" class="bg fr"></a></dt><dd id="92161_27">在經伊馬替尼長期治療后，大鼠機會性感染的發生率增加，并且猴子體內通常被抑制的瘧疾感染病情加重。遺傳毒性在一項體外細菌（Ames test）實驗、一項體外哺乳動物細胞分析（小鼠淋巴瘤實驗）和一項體內大鼠... </dd><dd id="92161_27_detail" style="display:none">該信息登錄才能查看，請<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登錄</font></a></dd><dt><span class="fl" id="36">化學成份:</span><a href="#36" onclick="showDrugDetail(this,92161,36)" class="bg fr"></a></dt><dd id="92161_36">化學名稱：4-[(4-甲基-1-哌嗪)甲基]-N-[4-甲基-3-[[4-(3-吡啶)-2-嘧啶]氨基]苯基]-苯甲酰胺甲磺酸鹽 化學結構式： 分子式：C29H31N7O&middot;CH4SO3分子量：589.... </dd><dd id="92161_36_detail" style="display:none">該信息登錄才能查看，請<a href="//drugs.dxy.cn/login.do?done=http%3A%2F%2Fdrugs.dxy.cn%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登錄</font></a></dd><dt><span class="fl" id="39">批準文號:</span></dt><dd>進口藥品注冊證號H20150294 </dd><dt><span class="fl" id="1">生產企業:</span></dt><dd>Novartis Pharma Schweiz AG </dd><dt><span class="fl" id="7">藥物分類:</span></dt><dd>蛋白激酶抑制劑 </dd></dl></div></div></div>

這種就是適合HTML解析，推薦jsoup或者htmlparser。

如果只是包含一些片段。可以直接簡單粗暴地使用Str.replaceAll或者正則來處理。

二 停用詞

很多中文分詞框架支持去掉停用詞。看個人選擇，jieba 貌似不維護了，ansj效果也不錯，還有使用比較多hanlp.

我找了個百度的停用詞表，吧英語單詞去掉了，供參考：

一 一下 一些 一切 一則 一天 一定 一方面 一旦 一時 一來 一樣 一次 一片 一直 一致 一般 一起 一邊 一面 萬一 上下 上升 上去 上來 上述 上面 下列 下去 下來 下面 不一 不久 不僅 不會 不但 不光 不單 不變 不只 不可 不同 不夠 不如 不得 不怕 不惟 不成 不拘 不敢 不斷 不是 不比 不然 不特 不獨 不管 不能 不要 不論 不足 不過 不問 與 與其 與否 與此同時 專門 且 兩者 嚴格 嚴重 個 個人 個別 中小 中間 豐富 臨 為 為主 為了 為什么 為什麼 為何 為著 主張 主要 舉行 乃 乃至 么 之 之一 之前 之后 之後 之所以 之類 烏乎 乎 乘 也 也好 也是 也罷 了 了解 爭取 于 于是 于是乎 云云 互相 產生 人們 人家 什么 什么樣 什麼 今后 今天 今年 今後 仍然 從 從事 從而 他 他人 他們 他的 代替 以 以上 以下 以為 以便 以免 以前 以及 以后 以外 以後 以來 以至 以至于 以致 們 任 任何 任憑 任務 企圖 偉大 似乎 似的 但 但是 何 何況 何處 何時 作為 你 你們 你的 使得 使用 例如 依 依照 依靠 促進 保持 俺 俺們 倘 倘使 倘或 倘然 倘若 假使 假如 假若 做到 像 允許 充分 先后 先後 先生 全部 全面 兮 共同 關于 其 其一 其中 其二 其他 其余 其它 其實 其次 具體 具體地說 具體說來 具有 再者 再說 冒 沖 決定 況且 準備 幾 幾乎 幾時 憑 憑借 出去 出來 出現 分別 則 別 別的 別說 到 前后 前者 前進 前面 加之 加以 加入 加強 十分 即 即令 即使 即便 即或 即若 卻不 原來 又 及 及其 及時 及至 雙方 反之 反應 反映 反過來 反過來說 取得 受到 變成 另 另一方面 另外 只是 只有 只要 只限 叫 叫做 召開 叮咚 可 可以 可是 可能 可見 各 各個 各人 各位 各地 各種 各級 各自 合理 同 同一 同時 同樣 后來 后面 向 向著 嚇 嗎 否則 吧 吧噠 吱 呀 呃 嘔 唄 嗚 嗚呼 呢 周圍 呵 呸 呼哧 咋 和 咚 咦 咱 咱們 咳 哇 哈 哈哈 哉 哎 哎呀 哎喲 嘩 喲 哦 哩 哪 哪個 哪些 哪兒 哪天 哪年 哪怕 哪樣 哪邊 哪里 哼 哼唷 唉 啊 啐 啥 啦 啪達 喂 喏 喔唷 嗡嗡 嗬 嗯 噯 嘎 嘎登 噓 嘛 嘻 嘿 因 因為 因此 因而 固然 在 在下 地 堅決 堅持 基本 處理 復雜 多 多少 多數 多次 大力 大多數 大大 大家 大批 大約 大量 失去 她 她們 她的 好的 好象 如 如上所述 如下 如何 如其 如果 如此 如若 存在 寧 寧可 寧愿 寧肯 它 它們 它們的 它的 安全 完全 完成 實現 實際 宣布 容易 密切 對 對于 對應 將 少數 爾后 尚且 尤其 就 就是 就是說 盡 盡管 屬于 豈但 左右 巨大 鞏固 己 已經 幫助 常常 并 并不 并不是 并且 并沒有 廣大 廣泛 應當 應用 應該 開外 開始 開展 引起 強烈 強調 歸 當 當前 當時 當然 當著 形成 徹底 彼 彼此 往 往往 待 後來 後面 得 得出 得到 心里 必然 必要 必須 怎 怎么 怎么辦 怎么樣 怎樣 怎麼 總之 總是 總的來看 總的來說 總的說來 總結 總而言之 恰恰相反 您 意思 愿意 慢說 成為 我 我們 我的 或 或是 或者 戰斗 所 所以 所有 所謂 打 擴大 把 抑或 拿 按 按照 換句話說 換言之 據 掌握 接著 接著 故 故此 整個 方便 方面 旁人 無寧 無法 無論 既 既是 既然 時候 明顯 明確 是 是否 是的 顯然 顯著 普通 普遍 更加 曾經 替 最后 最大 最好 最後 最近 最高 有 有些 有關 有利 有力 有所 有效 有時 有點 有的 有著 有著 望 朝 朝著 本 本著 來 來著 極了 構成 果然 果真 某 某個 某些 根據 根本 歡迎 正在 正如 正常 此 此外 此時 此間 毋寧 每 每個 每天 每年 每當 比 比如 比方 比較 毫不 沒有 沿 沿著 注意 深入 清楚 滿足 漫說 焉 然則 然后 然後 然而 照 照著 特別是 特殊 特點 現代 現在 甚么 甚而 甚至 用 由 由于 由此可見 的 的話 目前 直到 直接 相似 相信 相反 相同 相對 相對而言 相應 相當 相等 省得 看出 看到 看來 看看 看見 真是 真正 著 著呢 矣 知道 確定 離 積極 移動 突出 突然 立即 第 等 等等 管 緊接著 縱 縱令 縱使 縱然 練習 組成 經 經常 經過 結合 結果 給 絕對 繼續 繼而 維持 綜上所述 罷了 考慮 者 而 而且 而況 而外 而已 而是 而言 聯系 能 能否 能夠 騰 自 自個兒 自從 自各兒 自家 自己 自身 至 至于 良好 若 若是 若非 范圍 莫若 獲得 雖 雖則 雖然 雖說 行為 行動 表明 表示 被 要 要不 要不是 要不然 要么 要是 要求 規定 覺得 認為 認真 認識 讓 許多 論 設使 設若 該 說明 諸位 誰 誰知 趕 起 起來 起見 趁 趁著 越是 跟 轉動 轉變 轉貼 較 較之 邊 達到 迅速 過 過去 過來 運用 還是 還有 這 這個 這么 這么些 這么樣 這么點兒 這些 這會兒 這兒 這就是說 這時 這樣 這點 這種 這邊 這里 這麼 進入 進步 進而 進行 連 連同 適應 適當 適用 逐步 逐漸 通常 通過 造成 遇到 遭到 避免 那 那個 那么 那么些 那么樣 那些 那會兒 那兒 那時 那樣 那邊 那里 那麼 部分 鄙人 采取 里面 重大 重新 重要 鑒于 問題 防止 阿 附近 限制 除 除了 除此之外 除非 隨 隨著 隨著 集中 需要 非但 非常 非徒 靠 順 順著 首先 高興 是不是 說說

?

?

總結

以上是生活随笔為你收集整理的文本预处理与停用词的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。