搭建基础Hadoop2

前言

Hadoop 主要由以下 四大模块 构成：

1、HDFS（分布式文件系统）

2、MapReduce（计算系统）

3、YARN（调度系统）

4、Core（工具库）

安装与配置

Hadoop 安装需要 JDK 8 或 JDK 11

下载 Hadoop

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

验证 Hadoop 是否安装成功hadoop version

Hadoop 2.10.1

Subversion https://github.com/apache/hadoop -r 1827467c9a56f133025f28557bfc2c562d78e816

Compiled by centos on 2020-09-14T13:17Z

Compiled with protoc 2.5.0

From source with checksum 3114edef868f1f3824e7d0f68be03650

This command was run using /opt/hadoop/share/hadoop/common/hadoop-common-2.10.1.jar

修改 Hadoop 的配置文件

<property>
  <name>hadoop.tmp.dir</name>
  <value>file:/opt/hadoop/tmp</value>
  <description>location to store temporary files</description>
</property>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

以及

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/opt/hadoop/tmp/dfs/name</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/opt/hadoop/tmp/dfs/data</value>
</property>

配置完毕可以直接进行 hadoop 预备格式化hadoop namenode -format

完成后直接键入start-dfs.sh以及start-yarn.sh启动

启动完毕后可以使用jps观察进程并访问 8088（YARN 管理界面） 和 50070（HDFS 管理界面）

注意

如果启动过程中需要输入密码提醒错误可能是没有创建秘钥链接 localhost

ssh-keygen -t rsa -b 位数得到 PUB 秘钥链接本机>> ~/.ssh/authorized_keys

不过需要确保 .SSH 权限防止入侵