python生僻字如何转码_Python检测生僻字的实现方法
import re
pattern = re.compile('[abc]')
match_result = pattern.match('fabc')
if match_result:
print match_result.group()
search_result = pattern.search('fabc')
if search_result:
print search_result.group()
以上的實現方式需要先編譯一個 pattern，然后再進行匹配。實際上，我們可以直接利用 re.match(pattern, string) 函數來實現相同的功能。但是直接匹配的方式沒有先編譯再匹配的方式靈活，首先是正則表達式沒辦法重用，如果大量數據進行同一模式匹配，意味著每次都需要內部編譯，造成性能損失；另外，re.match()函數沒有pattern.match()功能強大，后者可以指定從哪個位置開始匹配。
編碼問題
了解 python 正則的基本功能后，剩下的事情就是找到一個合適的正則表達式來匹配生僻字和非法字符。非法字符很簡單，采用以下 pattern 就可以實現匹配：
pattern = re.compile(r'[~!@#$%^&* ]')
然而對于生僻字的匹配，著實難倒了我。首先是對于生僻字的定義，什么樣的字算生僻字？經過咨詢項目經理，規定非 GB2312 的字符屬于生僻字。接下來的問題是，如何匹配 GB2312 字符？
經過查詢，GB2312 的范圍是[\xA1-\xF7][\xA1-\xFE]，其中漢字區的范圍是[\xB0-\xF7][\xA1-\xFE]。因此，添加生僻字匹配后的表達式為：
pattern = re.compile(r'[~!@#$%^&* ]|[^\xA1-\xF7][^\xA1-\xFE]')
問題似乎是順理得當地解決了，然而我還是 too simple too naive 。由于要判斷的字符串都是從圖層文件讀取的，arcpy 貼心地將讀取的字符編碼為 unicode 格式。因此，我需要找出 GB2312 字符集在 unicode 中的編碼范圍。但現實是，GB2312 字符集在 unicode 中的分布并不是連續的，使用正則表示這個范圍必定是非常復雜的。使用正則表達式匹配生僻字的構想，似乎陷入了死胡同。
解決方案
既然提供的字符串是 unicode 格式，那么我可不可以將其轉換為 GB2312 再進行匹配呢？實際上是不行，因為 unicode 字符集要遠大于 GB2312 字符集，因此 GB2312 => unicode總是可以實現的，而反過來 unicode => GB2312不一定能成功。
這突然為我提供了另外一種思路，假設一個字符串的 unicode => GB2312轉換會失敗，那么是不是恰恰說明了它不屬于 GB2312 字符集？所以，我使用 unicode_string.encode('GB2312') 函數嘗試轉換字符串，捕獲 UnicodeEncodeError 異常來識別生僻字。
最終的代碼如下：
import re
def is_rare_name(string):
pattern = re.compile(u"[~!@#$%^&* ]")
match = pattern.search(string)
if match:
return True
try:
string.encode("gb2312")
except UnicodeEncodeError:
return True
return False
總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作能帶來一定的幫助，如果有疑問大家可以留言交流。
本條技術文章來源于互聯網，如果無意侵犯您的權益請點擊此處反饋版權投訴
本文系統來源：php中文網
總結
以上是生活随笔為你收集整理的python生僻字如何转码_Python检测生僻字的实现方法的全部內容，希望文章能夠幫你解決所遇到的問題。
