• Welcome to the world's largest Chinese hacker forum

    Welcome to the world's largest Chinese hacker forum, our forum registration is open! You can now register for technical communication with us, this is a free and open to the world of the BBS, we founded the purpose for the study of network security, please don't release business of black/grey, or on the BBS posts, to seek help hacker if violations, we will permanently frozen your IP and account, thank you for your cooperation. Hacker attack and defense cracking or network Security

    business please click here: Creation Security  From CNHACKTEAM

Recommended Posts

集群部署规划

hadoop132

hadoop133

hadoop134

分布式文件系统

NameNode

DataNode

DataNode

次要名称

DataNode

故事

节点管理器

资源管理

节点管理器

节点管理器

配置集群

自定义配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上,用户可以根据项目需求重新进行修改配置。

(1)核心配置文件

配置core-site.xml

[user @ Hadoop 132 Hadoop]$ vim核心-站点。可扩展置标语言

在该文件中编写如下配置:

!-指定分布式文件系统中NameNode的地址-

财产

namefs.defaultFS/name

价值HDFS ://Hadoop 132:9000/价值

/属性

!-指定大数据运行时产生文件的存储目录-

财产

namehadoop.tmp.dir/name

值/选项/模块/Hadoop-2。7 .2/数据/tmp/值

/属性

如下图:

1i4hap5ywoz4337.png

(2)HDFS配置文件

配置hadoop-env.sh

[user @ Hadoop 132 Hadoop]$ vim Hadoop-env。嘘

导出JAVA _ HOME=/opt/module/JDK 1。8 .0 _ 144

如下图:

dium-zoom-image" src="https://www.icode9.com/i/l/?n=22&i=blog/2858901/202205/2858901-20220502163105067-2144136536.png"/>

配置hdfs-site.xml

[user@hadoop132 hadoop]$ vim hdfs-site.xml

在该文件中编写如下配置:

<property>

  <name>dfs.replication</name>

  <value>3</value>

</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->

<property>

      <name>dfs.namenode.secondary.http-address</name>

      <value>hadoop134:50090</value>

</property>

如下图:

jrjeitztyq34338.png

(3)YARN配置文件

配置yarn-env.sh

[user@hadoop132 hadoop]$ vim yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

如下图:

yjdlbvpp0c34339.png

配置yarn-site.xml

[user@hadoop132 hadoop]$ vim yarn-site.xml

在该文件中增加如下配置:

<!-- Reducer获取数据的方式 -->

<property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

</property>

<!-- 指定YARN的ResourceManager的地址 -->

<property>

  <name>yarn.resourcemanager.hostname</name>

  <value>hadoop133</value>

</property>

<!-- 日志聚集功能使能 -->

<property>

  <name>yarn.log-aggregation-enable</name>

  <value>true</value>

</property>

<!-- 日志保留时间设置7天 -->

<property>

  <name>yarn.log-aggregation.retain-seconds</name>

  <value>604800</value>

</property>

如下图:

tgmdrafn1eq4340.png

注:日志聚集功能,可以方便的查看到程序运行详情,方便开发调试,为可选内容。

(4)MapReduce配置文件

配置mapred-env.sh

[user@hadoop132 hadoop]$ vim mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

如下图:

vupe12uuzpt4341.png

配置mapred-site.xml

将mapred-site.xml.template重新命名为mapred-site.xml

[user@hadoop132 hadoop]$ mv mapred-site.xml.template mapred-site.xml

[user@hadoop132 hadoop]$ vim mapred-site.xml

在该文件中增加如下配置:

<!-- 指定MR运行在YARN上 -->

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

<!-- 历史服务器端地址 -->

<property>

  <name>mapreduce.jobhistory.address</name>

  <value>hadoop132:10020</value>

</property>

<!-- 历史服务器web端地址 -->

<property>

  <name>mapreduce.jobhistory.webapp.address</name>

  <value>hadoop132:19888</value>

</property>

如下图:

cjpocb44xj04342.png

注:配置历史服务器,方便查看程序的历史运行情况,为可选内容。

(5)配置slaves

[user@hadoop132 hadoop]$ vim slaves

在该文件中增加如下内容:

hadoop132

hadoop133

hadoop134

注:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。

(6)在集群上分发配置好的Hadoop配置文件

[user@hadoop132 hadoop]$ xsync /opt/module/hadoop-2.7.2/

(7)查看文件分发情况

[user@hadoop133 hadoop]$ cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

启动集群

(1)如果集群是第一次启动,需要格式化NameNode(注意格式化之前,一定要先停止上次启动的所有namenode和datanode进程,然后再删除data和log数据)

[user@hadoop132 hadoop-2.7.2]$ bin/hdfs namenode -format

(2)启动HDFS

[user@hadoop132 hadoop-2.7.2]$ sbin/start-dfs.sh

(3)启动YARN

[user@hadoop133 hadoop-2.7.2]$ sbin/start-yarn.sh

注:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动 YARN,应该在ResouceManager所在的机器上启动YARN。

(4)Web端查看SecondaryNameNode

 (a)浏览器中输入:http://hadoop134:50090/status.html

 (b)查看SecondaryNameNode信息。

 

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now