中文文本中可能出現(xiàn)的標(biāo)點(diǎn)符號(hào)來源比較復(fù)雜，通過匹配等手段對(duì)他們處理的時(shí)候需要格外小心，防止遺漏。以下為在下處理中文標(biāo)點(diǎn)的時(shí)候采用的兩種方法:

中文標(biāo)點(diǎn)集合

比較常見標(biāo)點(diǎn)有這些：

！？｡＂＃＄％＆＇()＊＋，－／：；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃》「」『』【】〔〕〖〗?????〝〞????–—‘'?“”??…?﹏.

調(diào)用zhon包的zhon.hanzi.punctuation函數(shù)即可得到這些中文標(biāo)點(diǎn)。

如果想用英文的標(biāo)點(diǎn)，則可調(diào)用string包的string.punctuation函數(shù)可得到：

!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~

因此，比如需要將所有標(biāo)點(diǎn)符號(hào)去除，可以進(jìn)行以下操作：

>>> import re

>>> from zhon.hanzo import punctuation

>>> line = "測(cè)試。。去除標(biāo)點(diǎn)。。"

>>> print re.sub("[{}]+".format(punctuation), "", line.decode("utf-8")) # 需要將str轉(zhuǎn)換為unicode

當(dāng)然，如果想去除重復(fù)的符號(hào)而只保留一個(gè)，那么可以用\1指明：比如

>>> re.sub(ur"([{}])+".format(punctuation), "\1", line.decode("utf-8"))

你也可以手工指定這些標(biāo)點(diǎn)符號(hào)

punctuation = """！？｡＂＃＄％＆＇()＊＋－／：；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃》「」『』【】〔〕〖〗?????〝〞????–—‘'?“”??…?﹏"""

re_punctuation = "[{}]+".format(punctuation)

line = re.sub(re_punctuation, "", line)

可以通過直接指定unicode碼范圍的辦法來strip，比如:

去除所有半角全角符號(hào)，只留字母、數(shù)字、中文

def remove_punctuation(line):

rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")

line = rule.sub('',line)

return line

漢字的范圍為”\u4e00-\u9fa5“，這個(gè)是用Unicode表示的，所以前面必須要加”u“；字符”r“的意思是表示忽略后面的轉(zhuǎn)義字符，這樣簡(jiǎn)化了后面正則表達(dá)式里每遇到一個(gè)轉(zhuǎn)義字符還得挨個(gè)轉(zhuǎn)義的麻煩

最后可以組合成為一個(gè)函數(shù)

def remove_punctuation(line, strip_all=True):

if strip_all:

rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")

line = rule.sub('',line)

else:

punctuation = """！？｡＂＃＄％＆＇()＊＋－／：；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃》「」『』【】〔〕〖〗?????〝〞????–—‘'?“”??…?﹏"""

re_punctuation = "[{}]+".format(punctuation)

line = re.sub(re_punctuation, "", line)

return line.strip()

清洗完畢后，有時(shí)候我們希望按照多個(gè)標(biāo)點(diǎn)符號(hào)來分割

比如只要遇到中文或英文的逗號(hào)和句號(hào)等符號(hào)就分割，可以直接用translate把這些符號(hào)翻譯為統(tǒng)一的分隔符，再split:

strip_chars = '？"。.，,《》[]〖〗“”'

single_line = single_line.translate(str.maketrans(dict.fromkeys(strip_chars, '#')))

single_line = single_line.split('#')

總結(jié)

以上所述是小編給大家介紹的Python處理中文標(biāo)點(diǎn)符號(hào)大集合，希望對(duì)大家有所幫助，如果大家有任何疑問請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)我們網(wǎng)站的支持！

時(shí)間： 2018-05-12

總結(jié)

以上是生活随笔為你收集整理的python统计出现的中文标点_Python处理中文标点符号大集合的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。