博客
关于我
MAC M1大数据0-1成神篇-25 hadoop高可用搭建
阅读量:796 次
发布时间:2023-02-06

本文共 3227 字,大约阅读时间需要 10 分钟。

Hadoop 集群搭建指南

前置条件

在开始操作之前,请确保您已经完成了单节点 Hadoop 环境的搭建和验证。这篇文章将基于此环境进行扩展。

修改集群环境

基于之前的文章环境,进行以下配置:

  • 打开 hadoop-env.sh 文件,添加以下环境变量:
  • export JAVA_HOME=/opt/local/jdk1.8.0_261export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_SECONDARYNAMENODE_USER=rootexport HDFS_ZKFC_USER=rootexport HDFS_JOURNALNODE_USER=rootexport YARN_RESOURCEMANAGER_USER=rootexport YARN_NODEMANAGER_USER=root
    1. 配置 core-site.xml
    2. fs.defaultFS
      hdfs://hdfs-dsj
      hadoop.tmp.dir
      /opt/local/hadoop-3.3.1/ha
      hadoop.http.staticuser.user
      root
      ha.zookeeper.quorum
      node01:2181,node02:2181,node03:2181
      1. 配置 hdfs-site.xml
      2. dfs.nameservices
        hdfs-dsj
        dfs.ha.namenodes.hdfs-dsj
        nn1,nn2
        dfs.namenode.rpc-address.hdfs-dsj.nn1
        node01:8020
        dfs.namenode.rpc-address.hdfs-dsj.nn2
        node02:8020
        dfs.namenode.http-address.hdfs-dsj.nn1
        node01:9870
        dfs.namenode.http-address.hdfs-dsj.nn2
        node02:9870
        dfs.namenode.shared.edits.dir
        qjournal://node01:8485;node02:8485;node03:8485/hdfs-dsj
        dfs.journalnode.edits.dir
        /opt/local/hadoop-3.3.1/ha/qjm
        dfs.client.failover.proxy.provider.hdfs-dsj
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
        dfs.ha.fencing.methods
        sshfence
        dfs.ha.fencing.ssh.private-key-files
        /root/.ssh/id_rsa
        dfs.ha.automatic-failover.enabled
        true
        dfs.replication
        2

        分发Hadoop软件

      3. 已完成node01的配置,现在进行其他节点的操作:
      4. 在node01上,将Hadoop文件夹中的fulllogs文件夹删除。
      5. 在其他节点上卸载现有的Hadoop。
      6. 将node01上的Hadoop文件传输到其他节点:
      7. scp -r /opt/local/hadoop-3.3.1 root@node02:/opt/local/scp -r /opt/local/hadoop-3.3.1 root@node03:/opt/local/

        启动Zookeeper

      8. 在所有三个节点上运行:
      9. zkServer.sh startzkServer.sh status

        启动JournalNode

      10. 在所有三个节点上运行:
      11. hdfs --daemon start journalnode

        格式化NameNode

      12. 在node01上初始化NameNode:
      13. hdfs namenode -format
        1. 启动NameNode服务:
        2. hdfs --daemon start namenode
          1. 将备用节点初始化:
          2. hdfs namenode -bootstrapStandby
            1. 初始化ZKFC:
            2. hdfs zkfc -formatZK
              1. 启动集群:
              2. start-dfs.sh

                测试集群

                通过访问以下地址验证集群:

                • http://node01:9870
                • http://node02:9870

                关闭集群

              3. 在node01上执行:
              4. stop-dfs.sh
                1. 在所有节点上执行:
                2. zkServer.sh stop
                  1. 检查JPS进程是否还有残留。
                  2. 注意事项

                  3. 在集群运行稳定后,请进行服务器关机并拍摄快照记录。
                  4. 启动Hadoop时,确保Zookeeper已经运行,因为Hadoop的主备切换依赖于Zookeeper。
                  5. Hadoop 3.x版本使用端口9870作为NameNode访问地址,之前版本使用50070。
                  6. 以上步骤将帮助您成功搭建一个Hadoop集群。

    转载地址:http://daufk.baihongyu.com/

    你可能感兴趣的文章
    MySQL 中随机抽样:order by rand limit 的替代方案
    查看>>
    MySQL 为什么需要两阶段提交?
    查看>>
    mysql 为某个字段的值加前缀、去掉前缀
    查看>>
    mysql 主从
    查看>>
    mysql 主从 lock_mysql 主从同步权限mysql 行锁的实现
    查看>>
    mysql 主从互备份_mysql互为主从实战设置详解及自动化备份(Centos7.2)
    查看>>
    mysql 主从关系切换
    查看>>
    mysql 主键重复则覆盖_数据库主键不能重复
    查看>>
    Mysql 优化 or
    查看>>
    mysql 优化器 key_mysql – 选择*和查询优化器
    查看>>
    MySQL 优化:Explain 执行计划详解
    查看>>
    Mysql 会导致锁表的语法
    查看>>
    mysql 使用sql文件恢复数据库
    查看>>
    mysql 修改默认字符集为utf8
    查看>>
    Mysql 共享锁
    查看>>
    MySQL 内核深度优化
    查看>>
    mysql 内连接、自然连接、外连接的区别
    查看>>
    mysql 写入慢优化
    查看>>
    mysql 分组统计SQL语句
    查看>>
    Mysql 分页
    查看>>