最近再学习Hadoop,用的是Cygwin伪分布模式,今天按照书上的例子写了个小MapReduce程序,在eclipse中运行了一下,执行后报错,下面帖一下错误代码
11/12/05 16:10:35 INFO mapred.JobClient: Task Id : attempt_201112051608_0002_m_000001_2, Status : FAILED
[color=red]java.io.FileNotFoundException: File C:/hadoop/tmp/mapred/local/taskTracker/jobcache/job_201112051608_0002/attempt_201112051608_0002_m_000001_2/work/tmp does not exist.[/color]
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)
at org.apache.hadoop.mapred.Child.main(Child.java:155)
通过网上的文章了解到是"mapred.child.tmp"配置项的原因,需要在“mapred-site.xml”配置文件中配置“mapred.child.tmp”属性
<property>
<name>mapred.child.tmp</name>
<value>/hadoop/childtmp</value>
</property>
我又仔细的查看了一下“mapred-site.xml”配置文件,配置确实存在,那是哪里出了问题呢,我就继续查找,在群里不断的问,后来网友给了个提示,我修改了一下,果然好用。
eclipse中的插件中的默认选项有的还需要修改。
默认的配置是:
我按照“mapred-site.xml”中的配置修改了一下
这样执行就不会再报那个错误了。
- 大小: 17.3 KB
- 大小: 21 KB
分享到:
相关推荐
winutils+hadoop.dll+eclipse插件(hadoop2.7)winutils+hadoop.dll+eclipse插件(hadoop2.7)
在用eclipse 搭建hadoop...<property name="hadoop.root" location="${root}/../../../"/> ${ant.project.name}"/> ${basedir}"/> <property name="hadoop.root" location="${root}/../../../"/> 替换为 Xml代码 ...
eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例
Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...
适用用hadoop2 ,eclipse 集成插件。!可用在eclipse 开发hadoop程序
自己整理生成了一套基于HADOOP2.8.2的插件,经测试可用,应该是全网第一个基于HADOOP2.8.2的ECLIPSE插件,我使用的环境JDK1.7 64位,MYECLIPSE2014 或 ECLIPSE4.4 下载包中有配置好的截图照片。
看清楚版本,想要其他版本的可以私聊我,版本经测试,可以用,请大家放心下载使用
<property name="hadoop.root" location="${root}/../../../"/> 改成 <property name="root" value="/home/hadoop/soft/hadoop-1.1.2/src/contrib/eclipse-plugin"/> <property name="eclipse.home" location="/...
用于eclipse连接hadoop使用到的插件包,这里有几个版本的,不同的eclipse版本可以使用的插件包不一样,需要注意。
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
windows远程执行Linux服务器上的hadoop集群,本地调试所需要的hadoop.dll、winutils.exe包,让你的开发起飞。
在windows环境下安装hadoop环境的时候,会缺少该文件。
windows上eclipse运行hadoop程序报NullPointerException错 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j ...
Hadoop在eclipse上面安装插件,以及对Hadoop jar包和hadoop-common jar包的安装,环境变量的配置
基于w10+jdk1.8.0_162+eclipse2020-03+hadoop-2.9.2,亲测可以正常使用,注意如果eclipse已经启动过要从新加载下插件。
org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V 解决方案:下载本资源解压将hadoop.dll和winutils.exe文件复制到hadoop2.7.3的bin目录下即可解决。
hadoop本地调试hadoop程序插件winutils.exe,hadoop.dll
hadoop-eclipse插件(hadoop-eclipse-plugin-2.8.3.jar)与winutils https://blog.csdn.net/Elmo66/article/details/82182546
hadoop调试工具hadoop.dll和hadoop.exp和winutils.exe 64位
自己编译的hadoop2.8版64位windows插件,windows下使用eclipse的hadoop插件时需要放在windows/system32中。