正在做的一個項目中，由于數據量比較大，所以數據的內容比較亂，比如說mac地址，這個地址有的數據中存在，有的數據中不存在，當通過hive進行導出數據的時候，如果存在些非法的類型的數據會造成NoSuchElement異常，經過幾天的排查與摸索，終于將該隱患排除。

在hive中如果某些字段，尤其是中間的部分字段是空的值的話，很容易出錯，在數據量十分大的情況下甚至于很難去查詢到這種比較特殊的情況。

如圖所示是部分的數據，當然為了安全起見只是截取了一點點，能夠反映其特征即可，最頂部的數據可以看到是空值的連續串，甚至還出現了0和-1的值，在MAC地址中這種值應該是錯誤的值，需要將其從眾多的數據中剔除掉，否則會對系統帶來安全隱患。

由于數據為MAC地址，所以其格式比較統一，開始是通過判斷是不是空來進行剔除，但是后來發現并不是想象的那么簡單，有的值多個不是空但是也不是不符合的。
采用正則表達式去匹配，這樣更加方便的剔除臟數據了。

select * from data wheremacaddress regexp "([0-9a-fA-F]{2}){6}"

如果中間存在：的話就改為：

[0-9a-fA-F]{2}(:[0-9a-fA-F]{2}){5}

總結

以上是生活随笔為你收集整理的Hive正则表达式对数据过滤的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。