本文共 3227 字，大约阅读时间需要 10 分钟。

Hadoop 集群搭建指南

前置条件

在开始操作之前，请确保您已经完成了单节点 Hadoop 环境的搭建和验证。这篇文章将基于此环境进行扩展。

修改集群环境

基于之前的文章环境，进行以下配置：

export JAVA_HOME=/opt/local/jdk1.8.0_261export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_SECONDARYNAMENODE_USER=rootexport HDFS_ZKFC_USER=rootexport HDFS_JOURNALNODE_USER=rootexport YARN_RESOURCEMANAGER_USER=rootexport YARN_NODEMANAGER_USER=root

2. 配置 core-site.xml：

    
      
         
      
       fs.defaultFS
          
      
       hdfs://hdfs-dsj
        
       
         
      
       hadoop.tmp.dir
          
      
       /opt/local/hadoop-3.3.1/ha
        
       
         
      
       hadoop.http.staticuser.user
          
      
       root
        
       
         
      
       ha.zookeeper.quorum
          
      
       node01:2181,node02:2181,node03:2181
        
     
    

3. 配置 hdfs-site.xml：

     
       
          
       
        dfs.nameservices
           
       
        hdfs-dsj
         
        
          
       
        dfs.ha.namenodes.hdfs-dsj
           
       
        nn1,nn2
         
        
          
       
        dfs.namenode.rpc-address.hdfs-dsj.nn1
           
       
        node01:8020
         
        
          
       
        dfs.namenode.rpc-address.hdfs-dsj.nn2
           
       
        node02:8020
         
        
          
       
        dfs.namenode.http-address.hdfs-dsj.nn1
           
       
        node01:9870
         
        
          
       
        dfs.namenode.http-address.hdfs-dsj.nn2
           
       
        node02:9870
         
        
          
       
        dfs.namenode.shared.edits.dir
           
       
        qjournal://node01:8485;node02:8485;node03:8485/hdfs-dsj
         
        
          
       
        dfs.journalnode.edits.dir
           
       
        /opt/local/hadoop-3.3.1/ha/qjm
         
        
          
       
        dfs.client.failover.proxy.provider.hdfs-dsj
           
       
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
         
        
          
       
        dfs.ha.fencing.methods
           
       
        sshfence
         
        
          
       
        dfs.ha.fencing.ssh.private-key-files
           
       
        /root/.ssh/id_rsa
         
        
          
       
        dfs.ha.automatic-failover.enabled
           
       
        true
         
        
          
       
        dfs.replication
           
       
        2
         
      
     

分发Hadoop软件

4. 已完成node01的配置，现在进行其他节点的操作：
5. 在node01上，将Hadoop文件夹中的full和logs文件夹删除。
6. 在其他节点上卸载现有的Hadoop。
7. 将node01上的Hadoop文件传输到其他节点：

scp -r /opt/local/hadoop-3.3.1 root@node02:/opt/local/scp -r /opt/local/hadoop-3.3.1 root@node03:/opt/local/

启动Zookeeper

8. 在所有三个节点上运行：

zkServer.sh startzkServer.sh status

启动JournalNode

9. 在所有三个节点上运行：

hdfs --daemon start journalnode

格式化NameNode

10. 在node01上初始化NameNode：

hdfs namenode -format

2. 启动NameNode服务：

hdfs --daemon start namenode

3. 将备用节点初始化：

hdfs namenode -bootstrapStandby

4. 初始化ZKFC：

hdfs zkfc -formatZK

5. 启动集群：

start-dfs.sh

测试集群

通过访问以下地址验证集群：

• http://node01:9870
• http://node02:9870

关闭集群

6. 在node01上执行：

stop-dfs.sh

2. 在所有节点上执行：

zkServer.sh stop

3. 检查JPS进程是否还有残留。

注意事项

4. 在集群运行稳定后，请进行服务器关机并拍摄快照记录。
5. 启动Hadoop时，确保Zookeeper已经运行，因为Hadoop的主备切换依赖于Zookeeper。
6. Hadoop 3.x版本使用端口9870作为NameNode访问地址，之前版本使用50070。

以上步骤将帮助您成功搭建一个Hadoop集群。

转载地址：http://daufk.baihongyu.com/