- 浏览: 275888 次
文章分类
最新评论
-
feargod:
...
ActivityGroup的子activity响应back事件的顺序问题 -
hoarhoar:
谢谢你,终于解决了,我真是受够了,总是45秒钟,真是疯了。
youku 的广告必须要屏蔽 -
lilai:
...
youku 的广告必须要屏蔽 -
aijuans2:
...
youku 的广告必须要屏蔽 -
weiwo1978:
说的非常好,mark
SELECT语句执行的顺序
前几天在Window和Linux主机安装了Hadoop,版本是hadoop-0.21.0,出现了一些环境的问题,记录一下,做下备忘
1. cygwin启动Hadoop时候,总是报以下异常:
java.lang.NoClassDefFoundError: org/apache/hadoop/util/PlatformName
问题分析:出现该错误通常是找不到Main函数,而Hadoop是通过Shell脚本调用Java的Main类的
解决方法:
a.修改conf/hadoop-env.sh的JAVA_HOME到本机的正确位置
export JAVA_HOME=/cygdrive/d/Soft/Java/jdk1.6.0_26
b. 将${HADOOP_HOME}/bin/hadoop-config.sh文件中的第190行的以下内容
- JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m ${HADOOP_JAVA_PLATFORM_OPTS} org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g" `
修改成以下的内容
- JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m -classpath ${HADOOP_COMMON_HOME}/hadoop-common- 0.21 . 0.jar org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g" `
2.bin/start-all.sh正常,输入bin/start-fds.sh出错,显示以下提示:Hadoop common not found。
问题分析:出现该问题的原因是没有定义HADOOP_NAME
处理方法:Linux中为在.bashrc文件中加入 export HADOOP_HOME=$HOME/hadoop-0.21.0
3、在操作HDFS的时候发现总是提示以下错误,而无法完成功能的操作:java.io.IOException: File /user/administrator/chen3/NOTICE.txt could only be replicated to 0 nodes, instead of 1
检查datanode日志,发现DateNode与NameNode的命名空间版本不匹配
2011-08-04 11:23:23,065 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-linzm/dfs/data: namenode namespaceID = 775148417; datanode namespaceID = 1771400337
问题分析:看日志应该是DataNode的命名空间版本与NameNode不一致,重启后也是不能解决。
处理方法:将/tmp/hadoop-linzm/dfs/data/current/VERSION文件中的namespaceID改为错误日志的提示版本
4、将jar放到hadoop中,并执行时候,报以下异常
- [linzm @vm - 360 - 149 - 11 test]$ hadoop jar wordcount/wordcount.jar org.myorg.WordCount wordcount/input wordcount/outpu
- Exception in thread "main" java.io.IOException: Error opening job jar: wordcount/wordcount.jar
- at org.apache.hadoop.util.RunJar.main(RunJar.java:130 )
- Caused by: java.util.zip.ZipException: error in opening zip file
- at java.util.zip.ZipFile.open(Native Method)
- at java.util.zip.ZipFile.<init>(ZipFile.java:114 )
- at java.util.jar.JarFile.<init>(JarFile.java:133 )
- at java.util.jar.JarFile.<init>(JarFile.java:70 )
- at org.apache.hadoop.util.RunJar.main(RunJar.java:128 )
问题分析:通常出现这种情况有两种原因:jar报格式坏、文件路径不对。
处理方法:检查hadoop中文件的大小与本地是一致的,最后查明原因是jar包路径没有输入正确
5.官方例子中:http://hadoop.apache.org/common/docs/current/mapred_tutorial.html
运行:bin/hadoop jar /usr/joe/wordcount.jar org.myorg.WordCount /usr/joe/wordcount/input /usr/joe/wordcount/output会抛异常
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/linzm/wordcount/input already exists
at org.apache.hadoop.mapred.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:125)
at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:375)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:334)
问题分析:事实上input目录是作为输入,是肯定要的,而Main类已经在jar报中定义了
处理方法:可以运行的结果命令如下hadoop jar wordcount.jar wordcount/input wordcount/output
6、最后是备忘,默认启动的时候NameNode与DataNode管理端口为:
NameNode:http://localhost:50070/,基本功能:列出当前cluster的DataNodes,cluster的基本信息,还可以浏览HDFS文件系统
JobTracker - http://localhost:50030/,基本功能:管理MapReduce
更多信息请查看 java进阶网 http://www.javady.com
发表评论
-
hadoop FSNamesystem中的recentInvalidateSets
2012-04-20 20:28 970今天早就回来了,然后偷懒了2个小时,现在才开始分析代码, ... -
hadoop namenode后台jetty web
2012-04-20 20:28 1651现在开始分析namenode启动时开启的第2类线程, ... -
hadoop namenode format做了什么?
2012-04-18 20:58 1064一看到format就和磁盘格式化联想到一起,然后这个fo ... -
hadoop分布式配置(服务器系统为centos5,配置时使用的用户是root)
2012-04-14 21:19 1006目前我们使 ... -
hadoop系列A:多文件输出
2012-04-14 21:18 1344package org.myorg; import ... -
运行Hadoop遇到的问题
2012-04-10 13:19 1530运行Hadoop遇到的问题 1, 伪分布式模式 ... -
运行Hadoop遇到的问题
2012-04-10 13:19 0运行Hadoop遇到的问题 1, 伪分布式模式 ... -
hadoop使用过程中的一些小技巧
2012-04-09 10:16 1104hadoop使用过程中的一些小技巧 ------------- ... -
运行hadoop时的一些技巧
2012-04-09 10:14 731//用来给key分区的,需要实现Partitioner接口 ... -
hive相关操作文档收集
2012-04-08 10:51 0How to load data into Hive ... -
hive sql doc
2012-04-08 10:51 0记录2个常用的hive sql语法查询地 官方 ht ... -
hive Required table missing : "`DBS`" in Catalog "" Schema "
2012-04-08 10:51 0最近需要提取一些数据,故开始使用hive,本机搭建了一个hiv ... -
HDFS数据兼容拷贝
2012-04-08 10:50 0系统中使用了hadoop 19.2 20.2 2个版本,为啥有 ... -
hdfs 简单的api 读写文件
2012-04-08 10:50 0Java代码 import ... -
hbase之htable线程安全性
2012-04-22 15:22 1109在单线程环境下使用hbase的htable是没有问题,但是突然 ... -
hbase之scan的rowkey问题
2012-04-22 15:22 1690最近使用到hbase做存储,发现使用scan的时候,返回的ro ... -
datanode启动开启了那些任务线程
2012-04-22 15:22 1029今天开始分析datanode,首先看看datanode开启了哪 ... -
namenode这个类的主要功能
2012-04-22 15:22 1412今天来总看下namenode这个类的主要功能 首先看下这个类 ... -
hadoop监控
2012-04-22 15:21 1562通过从hadoop的 hadoop-metrics文件中就可以 ... -
zookeeper集群配置注意项
2012-04-21 21:32 1094项目中需要使用hbase,故准备在本机搭建hbase,考虑到h ...
相关推荐
Hadoop大数据平台安全问题和解决方案的综述
HADOOP第一代文件系统的问题和解决方案,和同软件提出自已的解决方案
Hadoop大数据平台安全问题和解决方案的综述,可以从这里学习到处理问题的思路。
[Wrox] Hadoop 专业解决方案 (英文版) [Wrox] Professional Hadoop Solutions (E-Book) ☆ 图书概要:☆ If you're ready to make the most out of massively scalable analytics, you need to know how to take ...
Logstash6整合Hadoop-报错与解决方案.docx
Hadoop高级编程- 构建与实现大数据解决方案.Hadoop高级编程- 构建与实现大数据解决方案
hadoop 构建与实现大数据解决方案
–宽带普及和提速(直接导致访问量、网络访问日志、通讯记录等迅猛增加) –社交网络(Facebook, Twitter, 微博等) –视频(视频通讯、医疗影像、地理信息、监控录像等) –移动网络和各种智能终端 –传感器、RFID阅读器...
采用 Hadoop 的 FlexPod Select 解决方案.pdf
基于Hadoop生态系统的大数据解决方案,贯穿案例,音乐排行榜,是最好的项目实战案例
[Packt Publishing] Hadoop 经典解决方案实例 (英文版) [Packt Publishing] Hadoop Real World Solutions Cookbook (E-Book) ☆ 出版信息:☆ [作者信息] Jonathan R. Owens, Brian Femiano, Jon Lentz [出版...
《Hadoop高级编程——构建与实现大数据解决方案》本书关注用于构建先进的、基于Hadoop的企业级应用的架构和方案,并为实现现实的解决方案提供深入的、代码级的讲解。本书还会带你领略数据设计以及数据设计如何影响...
一个大数据解决方案需要面对三个关键问题:大数据的存储、大数据的分析和大数据的管理。首先综述了大数据和Hadoop生态系统的定义;然后从商业产品和Hadoop生态系统两个方面来探讨如何面对大数据,重点分析了Hadoop生态...
基于Greenplum Hadoop- 分布式平台的大数据解决方案 03 - 安装Greenplum(1) 视频和PPT
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path...解决方案:下载本资源解压将hadoop.dll和winutils.exe文件复制到hadoop2.7.3的bin目录下即可解决。
hadoop数据挖掘解决方案.pdfhadoop数据挖掘解决方案.pdfhadoop数据挖掘解决方案.pdfhadoop数据挖掘解决方案.pdfhadoop数据挖掘解决方案.pdfhadoop数据挖掘解决方案.pdfhadoop数据挖掘解决方案.pdfhadoop数据挖掘解决...
基于Greenplum Hadoop- 分布式平台的大数据解决方案04 - 安装Greenplum(2) 视频和PPT
hadoop数据挖掘解决方案.docx