博客
关于我
MAC M1大数据0-1成神篇-25 hadoop高可用搭建
阅读量:796 次
发布时间:2023-02-06

本文共 3227 字,大约阅读时间需要 10 分钟。

Hadoop 集群搭建指南

前置条件

在开始操作之前,请确保您已经完成了单节点 Hadoop 环境的搭建和验证。这篇文章将基于此环境进行扩展。

修改集群环境

基于之前的文章环境,进行以下配置:

  • 打开 hadoop-env.sh 文件,添加以下环境变量:
  • export JAVA_HOME=/opt/local/jdk1.8.0_261export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_SECONDARYNAMENODE_USER=rootexport HDFS_ZKFC_USER=rootexport HDFS_JOURNALNODE_USER=rootexport YARN_RESOURCEMANAGER_USER=rootexport YARN_NODEMANAGER_USER=root
    1. 配置 core-site.xml
    2. fs.defaultFS
      hdfs://hdfs-dsj
      hadoop.tmp.dir
      /opt/local/hadoop-3.3.1/ha
      hadoop.http.staticuser.user
      root
      ha.zookeeper.quorum
      node01:2181,node02:2181,node03:2181
      1. 配置 hdfs-site.xml
      2. dfs.nameservices
        hdfs-dsj
        dfs.ha.namenodes.hdfs-dsj
        nn1,nn2
        dfs.namenode.rpc-address.hdfs-dsj.nn1
        node01:8020
        dfs.namenode.rpc-address.hdfs-dsj.nn2
        node02:8020
        dfs.namenode.http-address.hdfs-dsj.nn1
        node01:9870
        dfs.namenode.http-address.hdfs-dsj.nn2
        node02:9870
        dfs.namenode.shared.edits.dir
        qjournal://node01:8485;node02:8485;node03:8485/hdfs-dsj
        dfs.journalnode.edits.dir
        /opt/local/hadoop-3.3.1/ha/qjm
        dfs.client.failover.proxy.provider.hdfs-dsj
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
        dfs.ha.fencing.methods
        sshfence
        dfs.ha.fencing.ssh.private-key-files
        /root/.ssh/id_rsa
        dfs.ha.automatic-failover.enabled
        true
        dfs.replication
        2

        分发Hadoop软件

      3. 已完成node01的配置,现在进行其他节点的操作:
      4. 在node01上,将Hadoop文件夹中的fulllogs文件夹删除。
      5. 在其他节点上卸载现有的Hadoop。
      6. 将node01上的Hadoop文件传输到其他节点:
      7. scp -r /opt/local/hadoop-3.3.1 root@node02:/opt/local/scp -r /opt/local/hadoop-3.3.1 root@node03:/opt/local/

        启动Zookeeper

      8. 在所有三个节点上运行:
      9. zkServer.sh startzkServer.sh status

        启动JournalNode

      10. 在所有三个节点上运行:
      11. hdfs --daemon start journalnode

        格式化NameNode

      12. 在node01上初始化NameNode:
      13. hdfs namenode -format
        1. 启动NameNode服务:
        2. hdfs --daemon start namenode
          1. 将备用节点初始化:
          2. hdfs namenode -bootstrapStandby
            1. 初始化ZKFC:
            2. hdfs zkfc -formatZK
              1. 启动集群:
              2. start-dfs.sh

                测试集群

                通过访问以下地址验证集群:

                • http://node01:9870
                • http://node02:9870

                关闭集群

              3. 在node01上执行:
              4. stop-dfs.sh
                1. 在所有节点上执行:
                2. zkServer.sh stop
                  1. 检查JPS进程是否还有残留。
                  2. 注意事项

                  3. 在集群运行稳定后,请进行服务器关机并拍摄快照记录。
                  4. 启动Hadoop时,确保Zookeeper已经运行,因为Hadoop的主备切换依赖于Zookeeper。
                  5. Hadoop 3.x版本使用端口9870作为NameNode访问地址,之前版本使用50070。
                  6. 以上步骤将帮助您成功搭建一个Hadoop集群。

    转载地址:http://daufk.baihongyu.com/

    你可能感兴趣的文章
    Metasploit Web服务器渗透测试实战
    查看>>
    Moment.js常见用法总结
    查看>>
    MongoDB出现Error parsing command line: unrecognised option ‘--fork‘ 的解决方法
    查看>>
    mxGraph改变图形大小重置overlay位置
    查看>>
    MongoDB学习笔记(8)--索引及优化索引
    查看>>
    MQTT工作笔记0009---订阅主题和订阅确认
    查看>>
    ms sql server 2008 sp2更新异常
    查看>>
    MS UC 2013-0-Prepare Tool
    查看>>
    msbuild发布web应用程序
    查看>>
    MSB与LSB
    查看>>
    MSCRM调用外部JS文件
    查看>>
    MSCRM调用外部JS文件
    查看>>
    MSEdgeDriver (Chromium) 不适用于版本 >= 79.0.313 (Canary)
    查看>>
    MsEdgeTTS开源项目使用教程
    查看>>
    msf
    查看>>
    MSSQL数据库查询优化(一)
    查看>>
    MSSQL日期格式转换函数(使用CONVERT)
    查看>>
    MSTP多生成树协议(第二课)
    查看>>
    MSTP是什么?有哪些专有名词?
    查看>>
    Mstsc 远程桌面链接 And 网络映射
    查看>>