大数据HDFS相关的一些运维题
1.在 HDFS 文件系統的根目錄下創建遞歸目錄“1daoyun/file”,將附件中的BigDataSkills.txt 文件,上傳到 1daoyun/file 目錄中,使用相關命令查看文件系統中 1daoyun/file 目錄的文件列表信息。
hadoop fs -mkdir -p /1daoyun/file
hadoop fs -put BigDataSkills.txt /1daoyun/file
hadoop fs -ls /1daoyun/file
2.在 HDFS 文件系統的根目錄下創建遞歸目錄“1daoyun/file”,將附件中的BigDataSkills.txt 文件,上傳到 1daoyun/file 目錄中,并使用 HDFS 文件系統檢查工具檢查文件是否受損。
hadoop fsck /1daoyun/file/BigDataSkills.txt
3.在 HDFS 文件系統的根目錄下創建遞歸目錄“1daoyun/file”,將附件中的BigDataSkills.txt 文件,上傳到 1daoyun/file 目錄中,上傳 過程指定BigDataSkills.txt 文件在 HDFS 文件系統中的復制因子為 2,并使用 fsck 工具檢查存儲塊的副本數。
hadoop fs -D dfs.replication=2 -put BigDataSkills.txt /1daoyun/
4.HDFS 文件系統的根目錄下存在一個/apps 的文件目錄,要求開啟該目錄的可創建快照功能,并為該目錄文件創建快照,快照名稱為 apps_1daoyun,使用相關命令查看該快照文件的列表信息。
hadoop dfsadmin -allowSnapshot /apps
hadoop fs -createSnapshot /apps apps_1daoyun
hadoop fs -ls /apps/.snapshot
5.當 Hadoop 集群啟動的時候,會首先進入到安全模式的狀態,該模式默認30 秒后退出。當系統處于安全模式時,只能對 HDFS 文件系統進行讀取,無法進行寫入修改刪除等的操作。現假設需要對 Hadoop 集群進行維護,需要使集群進入安全模式的狀態,并檢查其狀態。
hadoop dfsadmin -safemode enter
hadoop dfsadmin -safemode get
6.為了防止操作人員誤刪文件,HDFS 文件系統提供了回收站的功能,但過多的垃圾文件會占用大量的存儲空間。要求在先電大數據平臺的 WEB 界面將 HDFS 文件系統回收站中的文件徹底刪除的時間間隔為 7 天。
7.為了防止操作人員誤刪文件,HDFS 文件系統提供了回收站的功能,但過多的垃圾文件會占用大量的存儲空間。要求在 Linux Shell 中使用“vi”命令修改相應的配置文件以及參數信息,關閉
功能。完成后,重啟相應的服務。
vi /etc/hadoop/2.6.1.0-129/0/core-site.xml
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop namenode
[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start namenode
[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop datanode
[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start datanode
8.Hadoop 集群中的主機在某些情況下會出現宕機或者系統損壞的問題,一旦遇到這些問題,HDFS 文件系統中的數據文件難免會產生損壞或者丟失,為了保證 HDFS 文件系統的可靠性,現需要在先電大數據平臺的 WEB 界面將集群的冗余復制因子修改為 5。
9.Hadoop 集群中的主機在某些情況下會出現宕機或者系統損壞的問題,一旦遇到這些問題,HDFS 文件系統中的數據文件難免會產生損壞或者丟失,為了保證 HDFS 文件系統的可靠性,需要將集群的冗余復制因子修改為 5,在 Linux Shell 中使用“vi”命令修改相應的配置文件以及參數信息,完成后,重啟相應的服務。
vi /etc/hadoop/2.6.1.0-129/0/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>5</value>
</property>
10.使用命令查看 hdfs 文件系統中/tmp 目錄下的目錄個數,文件個數和文件總大小。
hadoop fs -count -h /tmp
總結
以上是生活随笔為你收集整理的大数据HDFS相关的一些运维题的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 数学建模第三节2020.4.17-5.3
- 下一篇: 数学建模第四节2020.4.24-5.3