解决hadoop运行 DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException) 的问题

发布时间:2021-12-05 21:00:54

运行hdfs命令时,比如hadoop fs -put a.txt /


18/12/14 16:19:02 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /a.txt._COPYING_ could only be replicated to 0o node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1471)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2791)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:606)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNameno
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBloc
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)

at org.apache.hadoop.ipc.Client.call(Client.java:1411)
at org.apache.hadoop.ipc.Client.call(Client.java:1364)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocol
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1449)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1270)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:526)
put: File /a.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
[liushuai@master1 ~]$ hadoop dfsadmin -report

运行hadoop dfsadmin -report查看信息,发现如下:


Configured Capacity: 0 (0 B)
Present Capacity: 0 (0 B)
DFS Remaining: 0 (0 B)
DFS Used: 0 (0 B)
DFS Used%: NaN%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0


网上有说重新格式 core-site.xml中 hadoop.tmp.dir下的目录文件,重新
hdfs namenode -format,发现不是这个原因


查看 datanode节点下的 hadoop-user-datanode-slave.log 日志,发现是:


2018-12-14 16:04:22,655 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master1/192.168.246.136:9000. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)


办法:

结果是安装centos时,配置了master和slave的映射导致的。
由于core-site-xml中设定namenode为域名master,使用start-all.sh时,发现namenode将主机名master解析为127.0.1.1,原来是/etc/hosts文件中master 127.0.1.1的映射在master 192.168.246.136前面,hadoop默认将其解析为127.0.1.1

将其删掉红方框内即可


测试

运行 hadoop dfsadmin -report
Configured Capacity: 100551770112 (93.65 GB)
Present Capacity: 86632554496 (80.68 GB)
DFS Remaining: 86632169472 (80.68 GB)
DFS Used: 385024 (376 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0



Live datanodes (2):


Name: 192.168.246.137:50010 (slave1)
Hostname: slave1
Decommission Status : Normal
Configured Capacity: 50275885056 (46.82 GB)
DFS Used: 192512 (188 KB)
Non DFS Used: 6966996992 (6.49 GB)
DFS Remaining: 43308695552 (40.33 GB)
DFS Used%: 0.00%
DFS Remaining%: 86.14%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Dec 14 17:06:38 HKT 2018


Name: 192.168.246.138:50010 (slave2)
Hostname: slave2
Decommission Status : Normal
Configured Capacity: 50275885056 (46.82 GB)
DFS Used: 192512 (188 KB)
Non DFS Used: 6952218624 (6.47 GB)
DFS Remaining: 43323473920 (40.35 GB)
DFS Used%: 0.00%
DFS Remaining%: 86.17%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Dec 14 17:06:40 HKT 2018


文章,转载请附上博文链接!
https://blog.csdn.net/AdvancingStone/article/details/85006714

相关文档

  • bios进入设置卡死
  • 2019山西高考文综试题难不难
  • 快手怎么全屏观看作品
  • 我国古代君权与相权的关系呈现出怎样的演变趋势
  • 内核定时器的使用
  • 操场人像摄影作品赏析
  • 《开学第一课》观后感范文例文
  • 小鹦鹉洗澡
  • 2019初中级Android开发社招面试解答之性能优化
  • 技术本科标准刍议 2019新工资标准套改表
  • word文档怎么制作组织架构图
  • 阿房宫赋的一词多义
  • 人参营养饭 人参鹿茸鸡肉汤
  • 吃芋头相当于注射免疫球蛋白
  • 成功人士白手创业故事
  • android launcher 启动流程
  • BurpSuite解决爆破时候全是302的方法
  • 浅谈西餐宴会的礼仪
  • 【县人民银行行长级别】县人民银行述职报告
  • mybatis 一对多_别愣着了,Slay全场的MyBatis如何精通?阿里P8看完这篇直呼内行
  • SpringBoot学习??全局处理异常
  • .h文件注意问题
  • 我的世界虚无世界远古祭坛怎么用
  • 给自己的高中同学唯美离别留言
  • 信念,扬起成功之帆
  • 八字相克仍然结婚怎么办
  • 国庆手抄报写字内容
  • 果冻酒哪个牌子好果冻酒品牌推荐
  • 初二英语作文好句型
  • 右移运算符>>和>>>的区别
  • 猜你喜欢

  • 治疗女人痛经的食疗偏方
  • 糖尿病人运动应遵循的原则
  • 本科优秀毕业设计(论文)评选办法
  • 氧化锆测氧装置在火力发电厂的应用
  • 中国风国学经典教育动态工作总结汇报经典创意高端PPT模板
  • 小海蒂的读后感3篇
  • 四年级作文写人:我想要的圣诞礼物
  • 英文简历不要出现的语句
  • 关于科技的名人名言
  • 短歌行古诗赏析
  • 六年级上册数学课件-第8节 有关打折的实际问题丨苏教版(2018秋)(共21张PPT)
  • windows2003配置流媒体
  • 高三英语高一部分units-21~22(教学课件201908)
  • 高二Unit24 language points PPT课件
  • 感恩的心演讲稿范文
  • 大连金牛国际物流有限公司(企业信用报告)- 天眼查
  • 【课堂新坐标】(教师用书)2013-2014学年高中数学 2.1.1 向量的概念课后知能检测 新人教B版必修4
  • 会展场馆经营与管理_CH2_会展场馆组织管理
  • 初中数学国培学习总结
  • 山东省临清市九年级英语上学期期中试题(扫描版) 人教
  • 乌合之众小说 勒庞《乌合之众》简介推荐理由
  • Therebe句型讲解专用课件147807062521
  • 主持人开业串词_开业庆典主持词
  • XX年新型农民培训民生工程工作总结
  • 校园园林绿化植物和设计探究
  • 若羌县新好红枣专业合作社企业信用报告-天眼查
  • 2018年高考数学优质试卷分项版第02期专题06数列不等式文
  • 两岸关系转暖,海西迎来新的发展时期
  • Hyperledger fabric应用的多机部署(自动化一键部署)
  • 2018-2019第一学期开学第一周升旗仪式讲话稿
  • 江南大学远程教育马克思主义基本原理第3阶段测试题
  • 湖南省益阳市箴言中学高一下学期6月月考试题物理Word版含答案
  • 托拉塞米治疗儿童肾病综合征并高度水肿的药物疗效分析
  • 用激情点燃语文课堂
  • 关于加强惩防体系建设的几点思考(精)
  • 网络协议篇之CWMP协议(二) CWMP(TR-069)业务流程
  • 辽宁省沈阳铁路实验中学207_2018学年高一化学6月月考试题
  • 《半截蜡烛》阅读答案
  • 我的启蒙老师_三年级作文_3
  • 某30层建筑施工临时用电方案_secret
  • 天使助学图书募捐活动策划书
  • 【免费下载】 小学生健康知识和行为问卷考核
  • 电脑版