用sqoop從HDFS導(dǎo)出數(shù)據(jù)到mysql，一直卡在Running job: job_1571036741208_0010，應(yīng)該是內(nèi)存太小，導(dǎo)致速度太慢

在

yarn-site-xml中增加下面兩個，然后分發(fā)給各個節(jié)點，再重啟yarn即可

<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20480</value> <discription>每個節(jié)點可用內(nèi)存,單位MB</discription></property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> <discription>單個任務(wù)可申請最少內(nèi)存，默認1024MB</discription> </property>

到map 100% reduce 0%不動了

內(nèi)存大了以后，這里應(yīng)該是數(shù)據(jù)有問題，要不然就是建表有問題，就是數(shù)據(jù)和表結(jié)構(gòu)或編碼沖突
長度溢出：導(dǎo)入的數(shù)據(jù)超過mysql表的字段長度
主鍵重復(fù) ：因為數(shù)據(jù)中有重復(fù)的主鍵的值（主鍵不能重復(fù)）
等

總結(jié)

以上是生活随笔為你收集整理的sqoop从HDFS导出数据到Mysql，卡在Running job: job_1571036741208_0010不动了，或者map 100% reduce 0%不动了的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。