Hadoop2.4.1如何实现伪分布式搭建

112次阅读

共计 3122 个字符，预计需要花费 8 分钟才能阅读完成。

丸趣 TV 小编给大家分享一下 Hadoop2.4.1 如何实现伪分布式搭建，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

1. 准备 Linux 环境
1.0 点击 VMware 快捷方式，右键打开文件所在位置 – 双击 vmnetcfg.exe – VMnet1 host-only – 修改 subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 – apply – ok
回到 windows — 打开网络和共享中心 – 更改适配器设置 – 右键 VMnet1 – 属性 – 双击 IPv4 – 设置 windows 的 IP：192.168.1.100 子网掩码：255.255.255.0 – 点击确定
在虚拟软件上 –My Computer – 选中虚拟机 – 右键 – settings – network adapter – host only – ok
1.1 修改主机名
vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=itcast ###

1.2 修改 IP
两种方式：
第一种：通过 Linux 图形界面进行修改（强烈推荐）
进入 Linux 图形界面 – 右键点击右上方的两个小电脑 – 点击 Edit connections – 选中当前网络 System eth0 – 点击 edit 按钮 – 选择 IPv4 – method 选择为 manual – 点击 add 按钮 – 添加 IP：192.168.1.101 子网掩码：255.255.255.0 网关：192.168.1.1 – apply

第二种：修改配置文件方式（屌丝程序猿专用）
vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE= eth0
BOOTPROTO= static ###
HWADDR= 00:0C:29:3C:BF:E7
IPV6INIT= yes
NM_CONTROLLED= yes
ONBOOT= yes
TYPE= Ethernet
UUID= ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c
IPADDR= 192.168.1.101 ###
NETMASK= 255.255.255.0 ###
GATEWAY= 192.168.1.1 ###

1.3 修改主机名和 IP 的映射关系
vim /etc/hosts

192.168.1.101 itcast

1.4 关闭防火墙
# 查看防火墙状态
service iptables status
# 关闭防火墙
service iptables stop
# 查看防火墙开机启动状态
chkconfig iptables –list
# 关闭防火墙开机启动
chkconfig iptables off

1.5 重启 Linux
reboot

2. 安装 JDK
2.1 上传

2.2 解压 jdk
# 创建文件夹
mkdir /usr/java
# 解压
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/

2.3 将 java 添加到环境变量中
vim /etc/profile
# 在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_5
export PATH=$PATH:$JAVA_HOME/bin

# 刷新配置
source /etc/profil

3. 安装 hadoop2.4.1(itcast01 是主机名)
注意：hadoop2.x 的配置文件 $HADOOP_HOME/etc/hadoop
伪分布式需要修改 5 个配置文件
3.1 配置 hadoop
第一个：hadoop-env.sh
vim hadoop-env.sh
# 第 27 行
export JAVA_HOME=/usr/java/jdk1.7.0_65

第二个：core-site.xml
!– 制定 HDFS 的老大 vim（NameNode）的地址 —
property
name fs.defaultFS /name
value hdfs://itcast01:9000 /value
/property
!– 指定 hadoop 运行时产生文件的存储目录 —
property
name hadoop.tmp.dir /name
value /itcast/hadoop-2.4.1/tmp /value
/property

第三个：hdfs-site.xml
!– 指定 HDFS 副本的数量 —
property
name dfs.replication /name
value 1 /value
/property

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
!– 指定 mr 运行在 yarn 上 —
property
name mapreduce.framework.name /name
value yarn /value
/property

第五个：yarn-site.xml
!– 指定 YARN 的老大（ResourceManager）的地址 —
property
name yarn.resourcemanager.hostname /name
value itcast01 /value
/property
!– reducer 获取数据的方式 —
property
name yarn.nodemanager.aux-services /name
value mapreduce_shuffle /value
/property

3.2 将 hadoop 添加到环境变量

vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

3.3 格式化 namenode（是对 namenode 进行初始化）
hdfs namenode -format (hadoop namenode -format)

3.4 启动 hadoop
先启动 HDFS
sbin/start-dfs.sh

再启动 YARN
sbin/start-yarn.sh

3.5 验证是否启动成功
使用 jps 命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://192.168.8.118:50070（HDFS 管理界面）
http://192.168.8.118:8088（MR 管理界面）

4. 配置 ssh 免登陆
# 生成 ssh 免登陆密钥
# 进入到我的 home 目录
cd ~/.ssh