mysql插入數(shù)據(jù)問題：java.sql.SQLException: Incorrect string value: ‘\xF0\x9F\x98\x8D\xE8\xBE…’ for column ‘job_title’ at row 1

問題原因：
數(shù)據(jù)中存在Emoj表情內(nèi)容，每個字符占用4個字節(jié)，在Mysql中utf-8默認(rèn)最大支持3個字節(jié)，超長了，所以報(bào)錯了。
解決辦法：

（1）在較新版本的Mysql上可選擇修改數(shù)據(jù)類型為utf8mb4
（2）hive 數(shù)據(jù)處理過濾掉Emoj表情內(nèi)容（Emoj數(shù)據(jù)一般無用），處理完再集成到MySQL數(shù)據(jù)庫。用自定義函數(shù)
create temporary function StringFilter as ‘UppUDF.StringFilter’
using jar ‘hdfs://namenodeha/user/p66_u1038_upp_ludp1/tmp/StringFilter.jar’;
自定義函數(shù)代碼如下：

import org.apache.commons.lang3.CharEncoding; import org.apache.commons.lang3.CharUtils; import org.apache.hadoop.hive.ql.exec.UDF;import java.net.URLEncoder; import java.nio.charset.StandardCharsets;/**** 過濾emoj表情符**/ public class StringFilter extends UDF {public String evaluate(String str){if(str == null || str == ""){return null;}else{StringBuilder sb = new StringBuilder();byte[] bytes = str.getBytes(StandardCharsets.UTF_8);for(int i=0; i<bytes.length; i++) {byte b = bytes[i];if(CharUtils.isAscii((char)b)){sb.append(new String(new byte[] ));}else if((b & 0xE0) == 0xC0) {sb.append(new String(new byte[] {b, bytes[++i]}));}else if((b & 0xF0) == 0xE0) {sb.append(new String(new byte[] {b, bytes[++i], bytes[++i]}));}else if((b & 0xF8) == 0xF0) {String str1 = new String(new byte[] {b, bytes[++i], bytes[++i], bytes[++i]});try{sb.append(URLEncoder.encode(str1, CharEncoding.UTF_8));}catch(Exception ignore) {}}}return sb.toString();}} }

總結(jié)

以上是生活随笔為你收集整理的hive自定义函数过滤emoj表情符的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。