- 浏览: 271623 次
文章分类
最新评论
-
feargod:
...
ActivityGroup的子activity响应back事件的顺序问题 -
hoarhoar:
谢谢你,终于解决了,我真是受够了,总是45秒钟,真是疯了。
youku 的广告必须要屏蔽 -
lilai:
...
youku 的广告必须要屏蔽 -
aijuans2:
...
youku 的广告必须要屏蔽 -
weiwo1978:
说的非常好,mark
SELECT语句执行的顺序
关于hadoop的一些介绍和原理,在此不做任何描述,只讲实际应用。对于Hadoop来说,在HDFS看来,节点分为Namenode 和Datanode,其中Namenode只有一个,Datanode可以是很多;在MapReduce看来,节点又分为Jobtracker和 Tasktracker,其中Jobtracker只有一个,Tasktracker可以是很多。在此,所有的节点我都部署在一台机器上的。1、 安装:解压缩文件包
tar xfzv file.tgz
2、 配置:进入conf目录,修改配置文件。
1)
hadoop-env.sh
中的 JAVA_HOME【export JAVA_HOME=/usr/lib/jvm/java】
2)
hadoop-site.xml
见附录。hadoop-default.xml中包含了Hadoop的所有配置项,但是不允许直接修改!可以在hadoop-conf/目录下的hadoop-site.xml里面定义我们需要的项,其值会覆盖hadoop-default.xml中的默认值,可以根据自己的实际需要来进行定制。
3、
bin/hadoop namenode -format
格式化namenode,提示信息如下:
[JRockit] Local management server started.
09/07/29 10:07:44 INFO dfs.NameNode: STARTUP_MSG:STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost.localdomain/127.0.0.1
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.18.3
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 200909/07/29 10:07:44 INFO fs.FSNamesystem: fsOwner=root,root,bin,daemon,sys,adm,disk,wheel
09/07/29 10:07:44 INFO fs.FSNamesystem: supergroup=supergroup
09/07/29 10:07:44 INFO fs.FSNamesystem: isPermissionEnabled=true
09/07/29 10:07:44 INFO dfs.Storage: Image file of size 78 saved in 0 seconds.
09/07/29 10:07:45 INFO dfs.Storage: Storage directory /root/hadoop-0.18.3/filesystem/name has been successfully formatted.
09/07/29 10:07:45 INFO dfs.NameNode: SHUTDOWN_MSG:SHUTDOWN_MSG: Shutting down NameNode at localhost.localdomain/127.0.0.14、
bin/start-all.sh
启动所有守护进程
bin/stop-all.sh
停止所有守护进程
start-mapred.sh
启动Map/Reduce守护。包括Jobtracker和Tasktrack
stop-mapred.sh
停止Map/Reduce守护
start-dfs.sh
启动Hadoop DFS守护.Namenode和Datanode
stop-dfs.sh
停止DFS守护
5、
bin/hadoop dfs -mkdir testdir
建立目录,这个目录并不是实际目录
6、
bin/hadoop dfs -put conf/hadoop-default.xml testdir
复制文件
有时,当你申请到一个HOD集群后马上尝试上传文件到HDFS时,DFSClient会警告NotReplicatedYetException。通常会有一个如下报错信息。
org.apache.hadoop.ipc.RemoteException: java.io.IOException File /root/testdir/hadoop-default.xml could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.dfs.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1123)
at org.apache.hadoop.dfs.NameNode.addBlock(NameNode.java:330)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:481)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:890)
at org.apache.hadoop.ipc.Client.call(Client.java:716)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:216)
at org.apache.hadoop.dfs.$Proxy0.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at org.apache.hadoop.dfs.$Proxy0.addBlock(Unknown Source)
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:2450)
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2333)
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1800(DFSClient.java:1745)
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1922)
……不幸的是我也遇到了这个报错,google了很久才找到一个解决方案:
当你向一个DataNodes正在和NameNode联络的集群上传文件的时候,这种现象就会发生。在上传新文件到HDFS之前多等待一段时间就可以解决这个问题,因为这使得足够多的DataNode启动并且联络上了NameNode。
果然,很有效!
7、
bin/hadoop dfs -ls testdir
查看现有文件
8、
bin/hadoop dfs -cat testdir/hadoop-default.xml
查看文件内容
9、
bin/hadoop jar hadoop-0.18.3-examples.jar wordcount testdir test-out
执行分布式统计词
10、
bin/hadoop dfs -ls test-out bin/hadoop dfs -cat /user/root/test-out/part-00000
查看统计结果tracker. 2
tracking 1
transfers 1
trash 2
trigger 1
triggers 1
true 4
true, 4
try 2
turned 1
two 1
type="text/xsl" 1
typically 1
ui 1
unchanged. 2
under 2
under/over 1
unspecified 1至此,hadoop安装、配置、测试已走了一通。当然这其中还有些问题我并未过问的,比如
SSH设置
,没进行该设置,会导致运营hadoop过程中会提示需要输入密码,比较麻烦,把ssh配置好了,各个节点之间打通了,就不会出现这种问题了。
更多信息请查看 java进阶网 http://www.javady.com
发表评论
-
hadoop FSNamesystem中的recentInvalidateSets
2012-04-20 20:28 956今天早就回来了,然后偷懒了2个小时,现在才开始分析代码, ... -
hadoop namenode后台jetty web
2012-04-20 20:28 1639现在开始分析namenode启动时开启的第2类线程, ... -
hadoop namenode format做了什么?
2012-04-18 20:58 1037一看到format就和磁盘格式化联想到一起,然后这个fo ... -
hadoop分布式配置(服务器系统为centos5,配置时使用的用户是root)
2012-04-14 21:19 993目前我们使 ... -
hadoop系列A:多文件输出
2012-04-14 21:18 1310package org.myorg; import ... -
Hadoop 安装问题和解决方案
2012-04-10 13:21 1170前几天在Window和Linux主机安装了Hadoop, ... -
运行Hadoop遇到的问题
2012-04-10 13:19 1500运行Hadoop遇到的问题 1, 伪分布式模式 ... -
运行Hadoop遇到的问题
2012-04-10 13:19 0运行Hadoop遇到的问题 1, 伪分布式模式 ... -
hadoop使用过程中的一些小技巧
2012-04-09 10:16 1086hadoop使用过程中的一些小技巧 ------------- ... -
运行hadoop时的一些技巧
2012-04-09 10:14 721//用来给key分区的,需要实现Partitioner接口 ... -
hive相关操作文档收集
2012-04-08 10:51 0How to load data into Hive ... -
hive sql doc
2012-04-08 10:51 0记录2个常用的hive sql语法查询地 官方 ht ... -
hive Required table missing : "`DBS`" in Catalog "" Schema "
2012-04-08 10:51 0最近需要提取一些数据,故开始使用hive,本机搭建了一个hiv ... -
HDFS数据兼容拷贝
2012-04-08 10:50 0系统中使用了hadoop 19.2 20.2 2个版本,为啥有 ... -
hdfs 简单的api 读写文件
2012-04-08 10:50 0Java代码 import ... -
hbase之htable线程安全性
2012-04-22 15:22 1086在单线程环境下使用hbase的htable是没有问题,但是突然 ... -
hbase之scan的rowkey问题
2012-04-22 15:22 1675最近使用到hbase做存储,发现使用scan的时候,返回的ro ... -
datanode启动开启了那些任务线程
2012-04-22 15:22 1015今天开始分析datanode,首先看看datanode开启了哪 ... -
namenode这个类的主要功能
2012-04-22 15:22 1378今天来总看下namenode这个类的主要功能 首先看下这个类 ... -
hadoop监控
2012-04-22 15:21 1549通过从hadoop的 hadoop-metrics文件中就可以 ...
相关推荐
hadoop单机安装与测试 1•Local (Standalone) Mode(单节点的本地模式)Linux的文件系统就是hadoop的存储系统运行在单个的jvm环境,它使用linux的文件系统,适用于开发、测试、调试环境 运行案例 2•Pseudo-...
Hadoop配置 配置管理 环境设置 Hadoop守护进程的关键属性 Hadoop守护进程的地址和端口 Hadoop的其他属性 创建用户帐号 安全性 Kerberos和Hadoop 委托令牌 其他安全性改进 利用基准测试程序...
Hadoop配置 配置管理 环境设置 Hadoop守护进程的关键属性 Hadoop守护进程的地址和端口 Hadoop的其他属性 创建用户帐号 安全性 Kerberos和Hadoop 委托令牌 其他安全性改进 利用基准测试程序测试Hadoop集群 Hadoop基准...
从零学习Kerberos安全认证机制,并和Hadoop、YARN、HIVE进行集成,通过知识点 + 案例教学法帮助小白快速掌握Hadoop集成Kerberos安全技术。 课程亮点 1,专项攻破Hadoop安全配置。 2,生动形象,化繁为简,讲解通俗...
01_MapReduce框架处理数据的流程及几点注意 02_编写MapReduce编程模块 03_MapReduce数据类型及自定义数据类型...10_分布式安装部署:启动HDFS、YARN服务及测试程序 11_分布式安装部署:配置主从节点之间的SSH无密钥登录
同时,通过实际案例研究,展示了Hadoop在实际场景中的应用和效果。 适用人群: 本论文适合计算机科学与技术、软件工程等相关专业的本科专科毕业生,以及对大数据处理和分析感兴趣的学习者。 使用场景及目标: 本...
Hadoop集群搭建三、实验过程记录2.1安装准备2.2 Hadoop集群搭建1、安装文件上传工具2、JDK安装3、Hadoop安装:4、Hadoop集群配置2.3Hadoop集群测试1、格式化文件系统2、启动和关闭Hadoop集群3、通过UI查看Hadoop运行...
28.Sqoop的安装部署及连接测试 29.Sqoop将MySQL数据导入到HDFS(一) 30.Sqoop将MySQL数据导入到HDFS(二) 31.Sqoop中的增量导入与Sqoop job 32.Sqoop将MySQL数据导入Hive表中 33.Sqoop的导出及脚本中使用的方式 34...
3.1 下载并解压 3.2 配置环境变量 3.4 关闭防火墙 3.5 初始化 3.7 验证是否启动成功 3.8 单机伪分布式官方wordcount案例测试 3.
15.5. 测试 15.6. Maven Build Commands 15.7. Getting Involved 15.8. 开发 15.9. 提交补丁 A. FAQ B. hbck In Depth B.1. Running hbck to identify inconsistencies B.2. Inconsistencies B.3. Localized repairs...
6.5.2 在Windows系统中安装Hadoop 208 6.6 HDFS使用 215 6.6.1 HDFS 常用命令 215 6.6.2 HDFS 基准测试 219 6.7 HBase安装使用 219 6.7.1 HBase的安装配置 219 6.7.2 HBase的执行 220 6.7.3 Hbase编程实例 221 6.8 ...
2.1.1 memcache简介及安装 60 2.1.2 memcache API与分布式 64 2.1.3 分布式session 69 2.2 持久化存储 71 2.2.1 MySQL扩展 72 2.2.2 HBase 80 2.2.3 Redis 91 2.3 消息系统 95 2.3.1 ActiveMQ & ...
hadoop hbase mongodb strom spark java语言 语言语法基础 异常 泛型 内部类 反射 序列化 nIo 匿名类 包装类 优先级 引用 语言工具类库 容器类 集合 链表 map 工具类 系统类 日期类 数字...