• Welcome to the world's largest Chinese hacker forum

    Welcome to the world's largest Chinese hacker forum, our forum registration is open! You can now register for technical communication with us, this is a free and open to the world of the BBS, we founded the purpose for the study of network security, please don't release business of black/grey, or on the BBS posts, to seek help hacker if violations, we will permanently frozen your IP and account, thank you for your cooperation. Hacker attack and defense cracking or network Security

    business please click here: Creation Security  From CNHACKTEAM

Recommended Posts

目录前言一、配置主机名与网络二、配置免密登录三、安装爪哇岛开发工具包四、安装大数据修改hadoop-env.sh配置文件修改核心网站。可扩展标记语言配置文件修改hdfs-site.xml配置文件修改yarn-site.xml配置文件修改mapred-site.xml.template配置文件修改奴隶配置文件文件分发拷贝五、从节点操作六、启动集群声明

前言

集群的搭建需要准备三台虚拟机

主机名称

互联网协议(互联网协议)地址

hadoop001

192.168.131.137

hadoop002

192.168.131.138

hadoop003

192.168.131.139

Hadoop-2.8.5:链接:https://潘。百度一下。com/s/128 xtr 4 sfsiu P8 OJ herp 75 a提取码:384h

jdk-7u75-linux-x64.tar:链接:https://潘。百度一下。com/s/1 bdm m8c-6 fjsu 1 vhl xc 7 oew提取码:f12p

一、配置主机名与网络

以下操作 三台虚拟机 都需要进行操作

切换到root权限

苏根

修改主机名称

主机名CTL集-主机名hadoop001

qx3x3pqpkx43508.png

修改IP地址

vim/etc/sys配置/网络-脚本/if CFG-ens 33

kvht2yf0wqz3509.png

做出如下修改

类型=以太网

代理方法=静态

仅限浏览器=否

BOOTPROTO=dhcp

DEFROUTE=是

IPV4 _失败_致命=否

IPV6INIT=是

IPV6 _ AUTOCONF=是

IPV6 _ DEFROUTE=是

IPV6 _失败_致命=否

IPV6 _ ADDR _ GEN _ MODE=稳定-隐私

NAME=ens33

UUID=fa 65 cffc-4ad 5-496 b-a3bd-0 C1 BD 3 bbd 600

设备=ens33

ONBOOT=是

IPADDR=192.168.131.137

网关=192.168.131.2

网络=255.255.255.0

DNS1=192.168.131.2

注意 IPADDR 的修改(三台虚拟机对应各自IP)

202/2038823-20220223142024110-1707677562.png"/>

重启网卡,测试网络

service network restart

l1jahdyra5v3510.png

重启电脑

reboot

添加映射

vim /etc/hosts

bt0wzm3kqao3511.png

在另外 两台虚拟机 重复执行上述操作

二、配置免密登录

以下操作 三台虚拟机 都需要进行操作

ssh-keygen

输入ssh-keygen后,按照命令提示敲击“Enter”,直至命令结束

lpw413rdrbl3512.png

拷贝公钥

ssh-copy-id hadoop001

f3zyu2yqflg3513.png

ssh-copy-id hadoop002

xnj1qin20hm3514.png

ssh-copy-id hadoop003

vp01ichrqr23515.png

测试免密登录

vmemdztr3hp3516.png

在另外 两台虚拟机 重复执行上述操作

三、安装JDK

创建目录

mkdir /data

上传安装包

通过xshell连接hadoop001虚拟机

连接xshell后,切换至data目录,然后将jdk-7u75-linux-x64.tar.gz拖拽至xshell黑框里即可上传

cd /data

tsu2ty3z4333517.png

解压安装包

tar -zxvf /data/jdk-7u75-linux-x64.tar.gz  -C /opt/

重新命名解压后的文件夹

mv /opt/jdk1.7.0_75 /opt/java

配置环境变量

vim ~/.bashrc

在环境变量后加上如下文本

#java
export JAVA_HOME=/opt/java  
export PATH=$JAVA_HOME/bin:$PATH

l0dapnvfsmu3518.png

保存并且退出,然后刷新环境变量

source ~/.bashrc

检测环境变量配置是否生效

java

jvwn13g5h3t3519.png

四、安装Hadoop

上传安装包

通过xshell连接hadoop001虚拟机

连接xshell后,切换至data目录,然后将hadoop-2.8.5.tar.gz拖拽至xshell黑框里即可上传

fjtnxio04ki3520.png

解压安装包

tar -zxvf  /data/hadoop-2.8.5.tar.gz -C /opt/

重新命名解压后的文件夹

mv /opt/hadoop-2.8.5 /opt/hadoop

配置环境变量

vim ~/.bashrc

在环境变量后加上如下文本

#hadoop
export HADOOP_HOME=/opt/hadoop  
export PATH=$HADOOP_HOME/bin:$PATH

w2j5vn5fmek3521.png

保存并且退出,然后刷新环境变量

source ~/.bashrc

检测环境变量配置是否生效

hadoop version

m2rsc4vwuik3522.png

修改hadoop-env.sh配置文件

vim  /opt/hadoop/etc/hadoop/hadoop-env.sh

52vsyffk4zx3523.png

修改core-site.xml配置文件

创建Hadoop临时文件存储文件夹

mkdir -p /data/tmp/hadoop/tmp

修改配置文件

vim  /opt/hadoop/etc/hadoop/core-site.xml

添加如下文本

<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/data/tmp/hadoop/tmp</value>  
</property>  
<property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://hadoop001:9000/</value>  
    <description>NameNode URI</description>  
</property>

ycnfeabbve23524.png

修改hdfs-site.xml配置文件

vim  /opt/hadoop/etc/hadoop/hdfs-site.xml

添加如下文本

<property>  
    <name>dfs.namenode.name.dir</name>  
    <value>/data/tmp/hadoop/hdfs/name</value>  
</property>  
<property>  
    <name>dfs.datanode.data.dir</name>  
    <value>/data/tmp/hadoop/hdfs/data</value>  
</property>  
<property>  
     <name>dfs.replication</name>  
     <value>1</value>  
</property>  
<property>  
     <name>dfs.permissions</name>  
     <value>false</value>  
</property>  

nb03e5a22ze3525.png

修改yarn-site.xml配置文件

vim  /opt/hadoop/etc/hadoop/yarn-site.xml

添加如下文本

<property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
</property>  

frbuqled2kg3526.png

修改mapred-site.xml.template配置文件

修改文件名

mv /opt/hadoop/etc/hadoop/mapred-site.xml.template  /opt/hadoop/etc/hadoop/mapred-site.xml

修改配置文件

vim  /opt/hadoop/etc/hadoop/mapred-site.xml

添加如下文本

<property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>  
</property>  

tkmbnc22ezj3527.png

修改slaves配置文件

vim  /opt/hadoop/etc/hadoop/slaves

ux3d3k2mlf33528.png

文件分发拷贝

scp -r /opt/java/ /opt/hadoop/ hadoop002:/tmp/
scp -r /opt/java/ /opt/hadoop/ hadoop003:/tmp/

五、从节点操作

以下操作 只需在另两台台虚拟机(hadoop002、hadoop003) 进行操作

移动文件夹

mv /tmp/java /opt/
mv /tmp/hadoop /opt/ 

创建数据文件夹

mkdir /data

配置Hadoop与JDK环境变量

vim ~/.bashrc

在环境变量后加上如下文本

#java
export JAVA_HOME=/opt/java  
export PATH=$JAVA_HOME/bin:$PATH
#hadoop
export HADOOP_HOME=/opt/hadoop  
export PATH=$HADOOP_HOME/bin:$PATH

保存并退出,然后刷新环境变量

source ~/.bashrc

查看版本安装
g4qcoro4ffw3529.png

在另外 一台虚拟机(hadoop003) 重复执行上述操作

六、启动集群

切换至Hadoop安装目录

cd /opt/hadoop/sbin

格式化分布式文件系统

/opt/hadoop/bin/hadoop namenode -format 

启动Hadoop,只需要在主节点(hadoop001)执行操作

./start-all.sh

查看启动进程

jps

主节点

4mgw3la0ulj3530.png

从节点

ry0hk5ufsm53531.png

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld.service

ka5vjzj3qvo3532.png

查看防火墙状态

firewall-cmd --state

cvoifk20knj3533.png

查看Web界面

192.168.131.137:50070(主节点IP:50070)

0ik3dw4ilxu3534.png
bt5xqoafk2m3535.png

声明

本文档仅供学习交流使用,不可商用。

部分操作命令以及安装方式整理来源于网络,若有侵权请及时联系删除。

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now