Flink和Spark中文亂碼問題

• Flink中文亂碼
• Spark中文亂碼

Flink中文亂碼

近期開發Flink CDC 讀取mysql數據寫入到HDFS，發現寫入中文亂碼，排查了數據庫編碼和文件編碼都沒有問題，后來網上查了一些資料，修改flink.conf文件，新增如下內容

env.java.opts: -Dfile.encoding=UTF-8

Spark中文亂碼

也排查了數據庫編碼和文件編碼沒有問題，在程序啟動參數中新增–conf spark.executor.extraJavaOptions=“-Dfile.encoding=UTF-8” --conf spark.driver.extraJavaOptions=“-Dfile.encoding=UTF-8”
完整例子

spark-submit \ --master yarn \ --conf spark.executor.extraJavaOptions="-Dfile.encoding=UTF-8" \ --conf spark.driver.extraJavaOptions="-Dfile.encoding=UTF-8" \ --deploy-mode cluster \ --class com.vesoft.nebula.exchange.DBTest \ --driver-cores 1 \ --driver-memory 512M \ --num-executors 2 \ --executor-cores 2 \ --executor-memory 2G \ --queue default nebula-exchange_spark_2.4-3.0-SNAPSHOT.jar

或者在spark.conf中配置這兩個參數

spark.executor.extraJavaOptions="-Dfile.encoding=UTF-8" spark.driver.extraJavaOptions="-Dfile.encoding=UTF-8"

總結

以上是生活随笔為你收集整理的Flink和Spark中文乱码问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。