博客
关于我
MAC M1大数据0-1成神篇-25 hadoop高可用搭建
阅读量:796 次
发布时间:2023-02-06

本文共 3227 字,大约阅读时间需要 10 分钟。

Hadoop 集群搭建指南

前置条件

在开始操作之前,请确保您已经完成了单节点 Hadoop 环境的搭建和验证。这篇文章将基于此环境进行扩展。

修改集群环境

基于之前的文章环境,进行以下配置:

  • 打开 hadoop-env.sh 文件,添加以下环境变量:
  • export JAVA_HOME=/opt/local/jdk1.8.0_261export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_SECONDARYNAMENODE_USER=rootexport HDFS_ZKFC_USER=rootexport HDFS_JOURNALNODE_USER=rootexport YARN_RESOURCEMANAGER_USER=rootexport YARN_NODEMANAGER_USER=root
    1. 配置 core-site.xml
    2. fs.defaultFS
      hdfs://hdfs-dsj
      hadoop.tmp.dir
      /opt/local/hadoop-3.3.1/ha
      hadoop.http.staticuser.user
      root
      ha.zookeeper.quorum
      node01:2181,node02:2181,node03:2181
      1. 配置 hdfs-site.xml
      2. dfs.nameservices
        hdfs-dsj
        dfs.ha.namenodes.hdfs-dsj
        nn1,nn2
        dfs.namenode.rpc-address.hdfs-dsj.nn1
        node01:8020
        dfs.namenode.rpc-address.hdfs-dsj.nn2
        node02:8020
        dfs.namenode.http-address.hdfs-dsj.nn1
        node01:9870
        dfs.namenode.http-address.hdfs-dsj.nn2
        node02:9870
        dfs.namenode.shared.edits.dir
        qjournal://node01:8485;node02:8485;node03:8485/hdfs-dsj
        dfs.journalnode.edits.dir
        /opt/local/hadoop-3.3.1/ha/qjm
        dfs.client.failover.proxy.provider.hdfs-dsj
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
        dfs.ha.fencing.methods
        sshfence
        dfs.ha.fencing.ssh.private-key-files
        /root/.ssh/id_rsa
        dfs.ha.automatic-failover.enabled
        true
        dfs.replication
        2

        分发Hadoop软件

      3. 已完成node01的配置,现在进行其他节点的操作:
      4. 在node01上,将Hadoop文件夹中的fulllogs文件夹删除。
      5. 在其他节点上卸载现有的Hadoop。
      6. 将node01上的Hadoop文件传输到其他节点:
      7. scp -r /opt/local/hadoop-3.3.1 root@node02:/opt/local/scp -r /opt/local/hadoop-3.3.1 root@node03:/opt/local/

        启动Zookeeper

      8. 在所有三个节点上运行:
      9. zkServer.sh startzkServer.sh status

        启动JournalNode

      10. 在所有三个节点上运行:
      11. hdfs --daemon start journalnode

        格式化NameNode

      12. 在node01上初始化NameNode:
      13. hdfs namenode -format
        1. 启动NameNode服务:
        2. hdfs --daemon start namenode
          1. 将备用节点初始化:
          2. hdfs namenode -bootstrapStandby
            1. 初始化ZKFC:
            2. hdfs zkfc -formatZK
              1. 启动集群:
              2. start-dfs.sh

                测试集群

                通过访问以下地址验证集群:

                • http://node01:9870
                • http://node02:9870

                关闭集群

              3. 在node01上执行:
              4. stop-dfs.sh
                1. 在所有节点上执行:
                2. zkServer.sh stop
                  1. 检查JPS进程是否还有残留。
                  2. 注意事项

                  3. 在集群运行稳定后,请进行服务器关机并拍摄快照记录。
                  4. 启动Hadoop时,确保Zookeeper已经运行,因为Hadoop的主备切换依赖于Zookeeper。
                  5. Hadoop 3.x版本使用端口9870作为NameNode访问地址,之前版本使用50070。
                  6. 以上步骤将帮助您成功搭建一个Hadoop集群。

    转载地址:http://daufk.baihongyu.com/

    你可能感兴趣的文章
    mysql乱码
    查看>>
    Mysql事务。开启事务、脏读、不可重复读、幻读、隔离级别
    查看>>
    MySQL事务与锁详解
    查看>>
    MySQL事务原理以及MVCC详解
    查看>>
    MySQL事务及其特性与锁机制
    查看>>
    mysql事务理解
    查看>>
    MySQL事务详解结合MVCC机制的理解
    查看>>
    MySQL事务隔离级别:读未提交、读已提交、可重复读和串行
    查看>>
    MySQL事务隔离级别:读未提交、读已提交、可重复读和串行
    查看>>
    webpack css文件处理
    查看>>
    mysql二进制包安装和遇到的问题
    查看>>
    MySql二进制日志的应用及恢復
    查看>>
    mysql互换表中两列数据方法
    查看>>
    mysql五补充部分:SQL逻辑查询语句执行顺序
    查看>>
    mysql交互式连接&非交互式连接
    查看>>
    MySQL什么情况下会导致索引失效
    查看>>
    Mysql什么时候建索引
    查看>>
    MySql从入门到精通
    查看>>
    MYSQL从入门到精通(一)
    查看>>
    MYSQL从入门到精通(二)
    查看>>