博客
关于我
MAC M1大数据0-1成神篇-25 hadoop高可用搭建
阅读量:795 次
发布时间:2023-02-06

本文共 3227 字,大约阅读时间需要 10 分钟。

Hadoop 集群搭建指南

前置条件

在开始操作之前,请确保您已经完成了单节点 Hadoop 环境的搭建和验证。这篇文章将基于此环境进行扩展。

修改集群环境

基于之前的文章环境,进行以下配置:

  • 打开 hadoop-env.sh 文件,添加以下环境变量:
  • export JAVA_HOME=/opt/local/jdk1.8.0_261export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_SECONDARYNAMENODE_USER=rootexport HDFS_ZKFC_USER=rootexport HDFS_JOURNALNODE_USER=rootexport YARN_RESOURCEMANAGER_USER=rootexport YARN_NODEMANAGER_USER=root
    1. 配置 core-site.xml
    2. fs.defaultFS
      hdfs://hdfs-dsj
      hadoop.tmp.dir
      /opt/local/hadoop-3.3.1/ha
      hadoop.http.staticuser.user
      root
      ha.zookeeper.quorum
      node01:2181,node02:2181,node03:2181
      1. 配置 hdfs-site.xml
      2. dfs.nameservices
        hdfs-dsj
        dfs.ha.namenodes.hdfs-dsj
        nn1,nn2
        dfs.namenode.rpc-address.hdfs-dsj.nn1
        node01:8020
        dfs.namenode.rpc-address.hdfs-dsj.nn2
        node02:8020
        dfs.namenode.http-address.hdfs-dsj.nn1
        node01:9870
        dfs.namenode.http-address.hdfs-dsj.nn2
        node02:9870
        dfs.namenode.shared.edits.dir
        qjournal://node01:8485;node02:8485;node03:8485/hdfs-dsj
        dfs.journalnode.edits.dir
        /opt/local/hadoop-3.3.1/ha/qjm
        dfs.client.failover.proxy.provider.hdfs-dsj
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
        dfs.ha.fencing.methods
        sshfence
        dfs.ha.fencing.ssh.private-key-files
        /root/.ssh/id_rsa
        dfs.ha.automatic-failover.enabled
        true
        dfs.replication
        2

        分发Hadoop软件

      3. 已完成node01的配置,现在进行其他节点的操作:
      4. 在node01上,将Hadoop文件夹中的fulllogs文件夹删除。
      5. 在其他节点上卸载现有的Hadoop。
      6. 将node01上的Hadoop文件传输到其他节点:
      7. scp -r /opt/local/hadoop-3.3.1 root@node02:/opt/local/scp -r /opt/local/hadoop-3.3.1 root@node03:/opt/local/

        启动Zookeeper

      8. 在所有三个节点上运行:
      9. zkServer.sh startzkServer.sh status

        启动JournalNode

      10. 在所有三个节点上运行:
      11. hdfs --daemon start journalnode

        格式化NameNode

      12. 在node01上初始化NameNode:
      13. hdfs namenode -format
        1. 启动NameNode服务:
        2. hdfs --daemon start namenode
          1. 将备用节点初始化:
          2. hdfs namenode -bootstrapStandby
            1. 初始化ZKFC:
            2. hdfs zkfc -formatZK
              1. 启动集群:
              2. start-dfs.sh

                测试集群

                通过访问以下地址验证集群:

                • http://node01:9870
                • http://node02:9870

                关闭集群

              3. 在node01上执行:
              4. stop-dfs.sh
                1. 在所有节点上执行:
                2. zkServer.sh stop
                  1. 检查JPS进程是否还有残留。
                  2. 注意事项

                  3. 在集群运行稳定后,请进行服务器关机并拍摄快照记录。
                  4. 启动Hadoop时,确保Zookeeper已经运行,因为Hadoop的主备切换依赖于Zookeeper。
                  5. Hadoop 3.x版本使用端口9870作为NameNode访问地址,之前版本使用50070。
                  6. 以上步骤将帮助您成功搭建一个Hadoop集群。

    转载地址:http://daufk.baihongyu.com/

    你可能感兴趣的文章
    MySQL 证明为什么用limit时,offset很大会影响性能
    查看>>
    Mysql 语句操作索引SQL语句
    查看>>
    MySQL 误操作后数据恢复(update,delete忘加where条件)
    查看>>
    MySQL 调优/优化的 101 个建议!
    查看>>
    mysql 转义字符用法_MySql 转义字符的使用说明
    查看>>
    mysql 输入密码秒退
    查看>>
    mysql 递归查找父节点_MySQL递归查询树状表的子节点、父节点具体实现
    查看>>
    mysql 通过查看mysql 配置参数、状态来优化你的mysql
    查看>>
    mysql 里对root及普通用户赋权及更改密码的一些命令
    查看>>
    Mysql 重置自增列的开始序号
    查看>>
    mysql 锁机制 mvcc_Mysql性能优化-事务、锁和MVCC
    查看>>
    MySQL 错误
    查看>>
    mysql 随机数 rand使用
    查看>>
    MySQL 面试题汇总
    查看>>
    MySQL 面试,必须掌握的 8 大核心点
    查看>>
    MySQL 高可用性之keepalived+mysql双主
    查看>>
    mysql 默认事务隔离级别下锁分析
    查看>>
    Mysql--逻辑架构
    查看>>
    MySql-2019-4-21-复习
    查看>>
    mysql-5.7.18安装
    查看>>