`
albb0608
  • 浏览: 63338 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

jobtracker.info could only be replicated to 0 nodes, instead of 1 错误解决

阅读更多
最近在搭建Hadoop环境,用的是cygwin伪分布方式,但是一切都配置好后,执行命令start-all.sh,观察一下启动情况,执行JPS命令观察可以发现,只启动了namenode和jobtracker这两个,剩下三个节点没有启动



看了一下日志文件的目录,确实只启动了两个几点。



打开这两个节点的日志后,都显示的一样的内容,就是“java.io.IOException: File xxxxxxxxx/jobtracker.info could only be replicated to 0 nodes, instead of 1”,应该是连接错误,连接不到9000端口。

引用
hadoop-xxxx-namenode-XXXX.log


中报错:

2011-11-27 20:27:06,281 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 9000, call addBlock(/opt/hadoop/tmp/mapred/system/jobtracker.info, DFSClient_502181644) from 127.0.0.1:2278: error: java.io.IOException: File /opt/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
java.io.IOException: File /opt/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)

于是就在网上一顿找文章,网上说什么的都有,大部分都说是防火墙问题,于是我就关闭了防火墙,把系统的防火墙都关掉了,重新格式化,再次执行start-all.sh命令,结果还是不行。

经过多方询问吧,网友给我一个建议,就是把“masters”和“slaves”中都配置上主机的IP,我配置的是“127.0.0.1”,这样问题就解决了,重新格式化后,5个节点顺利的启动起来了。


  • 大小: 57.5 KB
  • 大小: 72.7 KB
分享到:
评论

相关推荐

    Hadoop入门实战手册

    1 ...........................................................................................................................4 概述 1.1 ...................................................................

    MapReduceV1:Job提交流程之JobTracker端分析

    MapReduceV1实现中,主要存在3个主要的分布式进程(角色):JobClient、JobTracker和TaskTracker,我们主要是以这三个角色的实际处理活动为主线,并结合源码,分析实际处理流程。上一篇我们分析了Job提交过程中...

    MapReduceV1:JobTracker处理Heartbeat流程分析

    我们基于Hadoop1.2.1源码分析MapReduceV1的处理流程。这篇文章的内容,更多地主要是描述处理/交互流程性的东西,大部分流程图都是经过我梳理后画出来的(开始我打算使用序列图来描述流程,但是发现很多流程在单个...

    JobTracker:Hadoop JobTracker OS X 菜单栏应用程序

    JobTracker Mac 菜单栏应用程序 Hadoop JobTracker 的 Mac 菜单栏应用程序界面。 它使您可以轻松访问 JobTracker 中的作业,并提供有关开始、完成和失败作业的 Growl/通知中心通知。 请参阅了解更多信息并下载二...

    hadoop0.23.9离线api

    org.apache.hadoop.mapreduce.server.jobtracker org.apache.hadoop.mapreduce.server.tasktracker org.apache.hadoop.mapreduce.tools org.apache.hadoop.mapreduce.v2 org.apache.hadoop.mapreduce.v2.app....

    hadoop-admin:Hadoop 管理模块

    'jobtracker' => 'jobtracker.host.name', }); print $cluster->datanode_live_list(); 描述 此模块使用 http 连接到 Hadoop 服务器。 查询 JMX 代理 Servlet 以获取特定的 mbean。 此模块需要 Hadoop 更改 。 ...

    Hadoop实战

    111.7 Hadoop历史 151.8 小结 161.9 资源 16第2章 初识Hadoop 172.1 Hadoop的构造模块 172.1.1 NameNode 172.1.2 DataNode 182.1.3 Secondary NameNode 192.1.4 JobTracker 192.1.5 TaskTracker 192.2 为Hadoop集群...

    Hadoop实战中文版.PDF

    111.7 Hadoop历史 151.8 小结 161.9 资源 16第2章 初识Hadoop 172.1 Hadoop的构造模块 172.1.1 NameNode 172.1.2 DataNode 182.1.3 Secondary NameNode 192.1.4 JobTracker 192.1.5 TaskTracker...

    基于Dijkstra算法分布式JobTracker节点模型通信方式的优化.pdf

    #资源达人分享计划#

    MapReduce\Yarn架构

    用戶編寫的MapReduce程序通過Client提交到JobTracker端;同時,用戶可通過Client提供的一些接口查看作業運行狀態。在Hadoop內部用“作業” (Job)表示MapReduce程序。每一個Job都會在用戶端通過Client類將應用程序...

    MapReduceV1:JobTracker端Job/Task数据结构

    一个应用程序可能由一组Job组成,而MapReduce框架给我们暴露的只是一些Map和Reduce的函数接口,在运行期它会构建对应MapTask和ReduceTask,所以我们知道一个Job是由一个或多个MapTask,以及0个或1个ReduceTask组成。...

    【大数据】Hadoop常用启动命令.pdf

    mapred.sh 停⽌Hadoop MapReduce守护进程JobTracker和TaskTracker hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程 hadoop-daemons.sh stop jobtracker 单独停⽌JobTracker守护进程 hadoop-daemons....

    大数据平台常见面试题.pdf

    ⼤数据平台常见⾯试题 第1部分 申请ID.. 3 第2部分 部署kafka. 4 2.1 部署86节点kafka. 4 2.2 配置86节点zookeeper. 5 2.3 部署87节点kafka. 5 2.4 配置87节点zookeeper. 5 第3部分 启动zookeeper. 5 3.1 启动86节点...

    mapreduce报错解决办法总结

    Jobtracker启动报错:解决方法:导入guava-r09-jarjar.jar org/apache/hadoop/thirdparty/guava/common/collect/LinkedListMultimap错误分析及解决方法: Intel版本hadoop因为缺少license,启动jobtracker报错:

    大数据面试题(1).docx

    单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份? a)3 份 b)2 份 c)1 份 d)不确定 3. 下列哪个程序通常与...

    大数据面试题,唬住50k.pdf

    ⼤数据⾯试题,唬住50k 1. 选择题 1. 下⾯哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案 C datanode 1. 1. HDfS 中的 block 默认保存⼏份? a)3 份 b)2...

    大数据面试题(1).doc

    单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份? a)3 份 b)2 份 c)1 份 d)不确定 3. 下列哪个程序通常与...

    Hadoop实战(虚拟多台电脑)

    分步式环境的搭建: 1、 硬件环境 我们采用了3台机器来构建,都安装的是Red Hat 4.1.2-42系统,并且都有一个名为“fddffd“的帐号,如下: 主机名称:hdfs1 ip:192.168.0.221 功能:NameNode,JobTracker 主机名称:...

Global site tag (gtag.js) - Google Analytics