博客
关于我
MAC M1大数据0-1成神篇-25 hadoop高可用搭建
阅读量:795 次
发布时间:2023-02-06

本文共 3227 字,大约阅读时间需要 10 分钟。

Hadoop 集群搭建指南

前置条件

在开始操作之前,请确保您已经完成了单节点 Hadoop 环境的搭建和验证。这篇文章将基于此环境进行扩展。

修改集群环境

基于之前的文章环境,进行以下配置:

  • 打开 hadoop-env.sh 文件,添加以下环境变量:
  • export JAVA_HOME=/opt/local/jdk1.8.0_261export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_SECONDARYNAMENODE_USER=rootexport HDFS_ZKFC_USER=rootexport HDFS_JOURNALNODE_USER=rootexport YARN_RESOURCEMANAGER_USER=rootexport YARN_NODEMANAGER_USER=root
    1. 配置 core-site.xml
    2. fs.defaultFS
      hdfs://hdfs-dsj
      hadoop.tmp.dir
      /opt/local/hadoop-3.3.1/ha
      hadoop.http.staticuser.user
      root
      ha.zookeeper.quorum
      node01:2181,node02:2181,node03:2181
      1. 配置 hdfs-site.xml
      2. dfs.nameservices
        hdfs-dsj
        dfs.ha.namenodes.hdfs-dsj
        nn1,nn2
        dfs.namenode.rpc-address.hdfs-dsj.nn1
        node01:8020
        dfs.namenode.rpc-address.hdfs-dsj.nn2
        node02:8020
        dfs.namenode.http-address.hdfs-dsj.nn1
        node01:9870
        dfs.namenode.http-address.hdfs-dsj.nn2
        node02:9870
        dfs.namenode.shared.edits.dir
        qjournal://node01:8485;node02:8485;node03:8485/hdfs-dsj
        dfs.journalnode.edits.dir
        /opt/local/hadoop-3.3.1/ha/qjm
        dfs.client.failover.proxy.provider.hdfs-dsj
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
        dfs.ha.fencing.methods
        sshfence
        dfs.ha.fencing.ssh.private-key-files
        /root/.ssh/id_rsa
        dfs.ha.automatic-failover.enabled
        true
        dfs.replication
        2

        分发Hadoop软件

      3. 已完成node01的配置,现在进行其他节点的操作:
      4. 在node01上,将Hadoop文件夹中的fulllogs文件夹删除。
      5. 在其他节点上卸载现有的Hadoop。
      6. 将node01上的Hadoop文件传输到其他节点:
      7. scp -r /opt/local/hadoop-3.3.1 root@node02:/opt/local/scp -r /opt/local/hadoop-3.3.1 root@node03:/opt/local/

        启动Zookeeper

      8. 在所有三个节点上运行:
      9. zkServer.sh startzkServer.sh status

        启动JournalNode

      10. 在所有三个节点上运行:
      11. hdfs --daemon start journalnode

        格式化NameNode

      12. 在node01上初始化NameNode:
      13. hdfs namenode -format
        1. 启动NameNode服务:
        2. hdfs --daemon start namenode
          1. 将备用节点初始化:
          2. hdfs namenode -bootstrapStandby
            1. 初始化ZKFC:
            2. hdfs zkfc -formatZK
              1. 启动集群:
              2. start-dfs.sh

                测试集群

                通过访问以下地址验证集群:

                • http://node01:9870
                • http://node02:9870

                关闭集群

              3. 在node01上执行:
              4. stop-dfs.sh
                1. 在所有节点上执行:
                2. zkServer.sh stop
                  1. 检查JPS进程是否还有残留。
                  2. 注意事项

                  3. 在集群运行稳定后,请进行服务器关机并拍摄快照记录。
                  4. 启动Hadoop时,确保Zookeeper已经运行,因为Hadoop的主备切换依赖于Zookeeper。
                  5. Hadoop 3.x版本使用端口9870作为NameNode访问地址,之前版本使用50070。
                  6. 以上步骤将帮助您成功搭建一个Hadoop集群。

    转载地址:http://daufk.baihongyu.com/

    你可能感兴趣的文章
    logstash mysql 准实时同步到 elasticsearch
    查看>>
    Luogu2973:[USACO10HOL]赶小猪
    查看>>
    mabatis 中出现< 以及> 代表什么意思?
    查看>>
    Mac book pro打开docker出现The data couldn’t be read because it is missing
    查看>>
    MAC M1大数据0-1成神篇-25 hadoop高可用搭建
    查看>>
    mac mysql 进程_Mac平台下启动MySQL到完全终止MySQL----终端八步走
    查看>>
    Mac OS 12.0.1 如何安装柯美287打印机驱动,刷卡打印
    查看>>
    MangoDB4.0版本的安装与配置
    查看>>
    Manjaro 24.1 “Xahea” 发布!具有 KDE Plasma 6.1.5、GNOME 46 和最新的内核增强功能
    查看>>
    mapping文件目录生成修改
    查看>>
    MapReduce程序依赖的jar包
    查看>>
    mariadb multi-source replication(mariadb多主复制)
    查看>>
    MariaDB的简单使用
    查看>>
    MaterialForm对tab页进行隐藏
    查看>>
    Member var and Static var.
    查看>>
    memcached高速缓存学习笔记001---memcached介绍和安装以及基本使用
    查看>>
    memcached高速缓存学习笔记003---利用JAVA程序操作memcached crud操作
    查看>>
    Memcached:Node.js 高性能缓存解决方案
    查看>>
    memcache、redis原理对比
    查看>>
    memset初始化高维数组为-1/0
    查看>>