PRF&PUB:20170712 How To Setup Apache Hadoop On CentOS.md

@geekpi
This commit is contained in:
wxy 2017-08-14 11:12:01 +08:00
parent c7b8807289
commit 61060dc5c7

View File

@ -3,17 +3,14 @@
[![](https://www.unixmen.com/wp-content/uploads/2015/06/hadoop1-696x249.png "hadoop1")][2]
**Apache Hadoop** 软件库是一个框架它允许使用简单的编程模型在计算机集群上对大型数据集进行分布式处理。Apache™ Hadoop® 是可靠、可扩展、分布式计算的开源软件。
Apache Hadoop 软件库是一个框架它允许使用简单的编程模型在计算机集群上对大型数据集进行分布式处理。Apache™ Hadoop® 是可靠、可扩展、分布式计算的开源软件。
该项目包括以下模块:
* **Hadoop Common**:支持其他 Hadoop 模块的常用工具
* **Hadoop 分布式文件系统 HDFS™**:分布式文件系统,可提供对应用程序数据的高吞吐量访问
* **Hadoop YARN**:作业调度和集群资源管理框架。
* **Hadoop MapReduce**:一个基于 YARN 的大型数据集并行处理系统。
* Hadoop Common支持其他 Hadoop 模块的常用工具。
* Hadoop 分布式文件系统 HDFS™分布式文件系统可提供对应用程序数据的高吞吐量访问支持。
* Hadoop YARN作业调度和集群资源管理框架。
* Hadoop MapReduce一个基于 YARN 的大型数据集并行处理系统。
本文将帮助你逐步在 CentOS 上安装 hadoop 并配置单节点 hadoop 集群。
@ -30,7 +27,7 @@ Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)
要安装或更新 Java请参考下面逐步的说明。
第一步是从[ Oracle 官方网站][3]下载最新版本的 java。
第一步是从 [Oracle 官方网站][3]下载最新版本的 java。
```
cd /opt/
@ -58,7 +55,7 @@ There are 3 programs which provide 'java'.
Enter to keep the current selection[+], or type selection number: 3 [Press Enter]
```
现在你可能还需要使用alternatives 命令设置 javac 和 jar 命令路径。
现在你可能还需要使用 `alternatives` 命令设置 `javac``jar` 命令路径。
```
alternatives --install /usr/bin/jar jar /opt/jdk1.7.0_79/bin/jar 2
@ -69,27 +66,27 @@ alternatives --set javac /opt/jdk1.7.0_79/bin/javac
下一步是配置环境变量。使用以下命令正确设置这些变量。
* 设置 **JAVA_HOME** 变量
设置 `JAVA_HOME` 变量:
```
export JAVA_HOME=/opt/jdk1.7.0_79
```
* 设置 **JRE_HOME** 变量
设置 `JRE_HOME` 变量:
```
export JRE_HOME=/opt/jdk1.7.0_79/jre
```
* 设置 **PATH** 变量
设置 `PATH` 变量:
```
export PATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/jdk1.7.0_79/jre/bin
```
### 安装 **Apache Hadoop**
### 安装 Apache Hadoop
设置好 java 环境后。开始安装 **Apache Hadoop**
设置好 java 环境后。开始安装 Apache Hadoop。
第一步是创建用于 hadoop 安装的系统用户帐户。
@ -98,7 +95,7 @@ useradd hadoop
passwd hadoop
```
现在你需要配置用户 hadoop 的 ssh 密钥。使用以下命令启用无需密码的 ssh 登录。
现在你需要配置用户 `hadoop` 的 ssh 密钥。使用以下命令启用无需密码的 ssh 登录。
```
su - hadoop
@ -119,7 +116,7 @@ mv hadoop-2.6.0 hadoop
下一步是设置 hadoop 使用的环境变量。
编辑 **~/.bashrc**,并在文件末尾添加以下这些值。
编辑 `~/.bashrc`,并在文件末尾添加以下这些值。
```
export HADOOP_HOME=/home/hadoop/hadoop
@ -138,7 +135,7 @@ export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
source ~/.bashrc
```
编辑 **$HADOOP_HOME/etc/hadoop/hadoop-env.sh** 并设置 **JAVA_HOME** 环境变量。
编辑 `$HADOOP_HOME/etc/hadoop/hadoop-env.sh` 并设置 `JAVA_HOME` 环境变量。
```
export JAVA_HOME=/opt/jdk1.7.0_79/
@ -149,10 +146,10 @@ export JAVA_HOME=/opt/jdk1.7.0_79/
首先编辑 hadoop 配置文件并进行以下更改。
```
cd /home/hadoop/hadoop/etc/hadoop
cd /home/hadoop/hadoop/etc/hadoop
```
让我们编辑 core-site.xml。
让我们编辑 `core-site.xml`
```
<configuration>
@ -163,7 +160,7 @@ export JAVA_HOME=/opt/jdk1.7.0_79/
</configuration>
```
接着编辑 hdfs-site.xml
接着编辑 `hdfs-site.xml`
```
<configuration>
@ -184,7 +181,7 @@ export JAVA_HOME=/opt/jdk1.7.0_79/
</configuration>
```
并编辑 mapred-site.xml
并编辑 `mapred-site.xml`
```
<configuration>
@ -195,7 +192,7 @@ export JAVA_HOME=/opt/jdk1.7.0_79/
</configuration>
```
最后编辑 yarn-site.xml
最后编辑 `yarn-site.xml`
```
<configuration>
@ -220,7 +217,7 @@ start-dfs.sh
start-yarn.sh
```
要检查所有服务是否正常启动,请使用 “jps” 命令:
要检查所有服务是否正常启动,请使用 `jps` 命令:
```
jps
@ -237,19 +234,19 @@ jps
25807 NameNode
```
现在,你可以在浏览器中访问 Hadoop 服务:**http://your-ip-address:8088/**
现在,你可以在浏览器中访问 Hadoop 服务:http://your-ip-address:8088/
[![hadoop](http://www.unixmen.com/wp-content/uploads/2015/06/hadoop.png)][5]
谢谢!!!
谢谢阅读
--------------------------------------------------------------------------------
via: https://www.unixmen.com/setup-apache-hadoop-centos/
作者:[anismaj ][a]
作者:[anismaj][a]
译者:[geekpi](https://github.com/geekpi)
校对:[校对者ID](https://github.com/校对者ID)
校对:[wxy](https://github.com/wxy)
本文由 [LCTT](https://github.com/LCTT/TranslateProject) 原创编译,[Linux中国](https://linux.cn/) 荣誉推出