• Welcome to the world's largest Chinese hacker forum

    Welcome to the world's largest Chinese hacker forum, our forum registration is open! You can now register for technical communication with us, this is a free and open to the world of the BBS, we founded the purpose for the study of network security, please don't release business of black/grey, or on the BBS posts, to seek help hacker if violations, we will permanently frozen your IP and account, thank you for your cooperation. Hacker attack and defense cracking or network Security

    business please click here: Creation Security  From CNHACKTEAM

[报错]火花开发环境操作分布式文件系统报错


Recommended Posts

报错一

22/05/0305:48:53警告DFSClient:无法连接到块的/10.0.24.10:9866,添加到死节点并继续. org。阿帕奇。Hadoop。网。connecttimeoutexception :等待通道准备连接时超时60000毫秒ch : Java。nio。渠道。套接字通道[连接挂起的远程=/10 .0 .24 .2609866]

org。阿帕奇。Hadoop。网。connecttimeoutexception :等待通道准备连接时超时60000毫秒ch : Java。nio。渠道。套接字通道[连接挂起的远程=/10 .0 .24 .2609866]

查看报错信息,是连接数据节点:9866时报错,为什么会使用内网互联网协议(互联网协议的缩写)呢?有没有方法可以避免呢?

解决:

在资源目录添加hdfs-site.xml

!-数据节点通信是否使用域名,默认为假的,改为真的-

财产

namedfs.client.use.datanode.hostname/name

值真/值

描述在连接到其他datanode进行数据传输时,数据节点是否应使用datanode主机名。

/描述

/属性

报错2

线程“主要”组织。阿帕奇。Hadoop。安全。accesscontrolexception :权限被拒绝: user=wst,access=WRITE,inode='/' : root :超级组: drwxr-xr-x

查看报错信息,是往分布式文件系统写数据时,没有权限,因为使用的是开发环境的用户=wst提交的

//TODO 5 .对分布式文件系统的操作

对象hdfs {

def main(args : Array[String]): Unit={

//设置大数据用户名

系统。设置属性(' HADOOP _ USER _ NAME ',' root ')

Link to comment
Share on other sites