本文共 2009 字，大约阅读时间需要 6 分钟。

翻译自官方文档一节

Download

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

解压

tar -zxvf hadoop-2.9.2.tar.gz

配置PATH

vim /etc/profile

添加：

HADOOP_HOME=/usr/local/hadoop-2.9.2export PATH=$HADOOP_HOME/bin:${CLASSPATH}:$PATH

source /etc/profile

Hadoop伪集群搭建

hadoop可以以一个伪集群模式在单机上运行，每个hadoop daemon以一个单独的java线程运行。

配置

vim ${HADOOP_HOME}/etc/hadoop/core-site.xml

添加配置如下：

       
            
     
      fs.defaultFS
             
     
      hdfs://localhost:9000
         
    
   

vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml

添加配置如下：

       
            
     
      dfs.replication
             
     
      1
         
    
   

hadoop脚本设置java home

export JAVA_HOME=${JAVA_HOME}

改成

export JAVA_HOME=具体路径

设置SSH免密登录

先检查本地是否可以使用免密登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 0600 ~/.ssh/authorized_keys

运行

1.格式化hdfs

2.启动namenode和datanode节点

hadoop节点的日志会写入到$HADOO{P}_{L}O{G}_{D}IR目录，默认是在${HADOOP_HOME}/logs目录下

3.查看namenode的管理网页

默认地址是：

测试集群

运行hadoop自带的一个example来检测集群搭建是否正常

/hdfs dfs -mkdir /user/hdfs dfs -mkdir /user/
   
    hdfs dfs -put etc/hadoop inputhadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+'bin/hdfs dfs -get output outputcat output/*
   

伪集群模式运行Yarn

添加一些配置文件，就可以在伪集群模式下再Yarn中运行map reduce任务。另外也可以把ResourceManager 和NodeManager节点跑起来。

配置

vim ${HADOOP_HOME}/etc/hadoop/mapred-site.xml

       
            
     
      mapreduce.framework.name
             
     
      yarn
         
    
   

vim ${HADOOP_HOME}/etc/hadoop/yarn-site.xml

       
            
     
      yarn.nodemanager.aux-services
             
     
      mapreduce_shuffle
         
    
   

启动ResourceManager和NodeManager

打开启动ResourceManager的web管理界面

默认：http://localhost:8088/

至此，集群搭建完成。

转载地址：http://ltsni.baihongyu.com/