这个实验我选择了简单的做法，并没有用到kerkeros。本人会努力，尽快学会用到kerkeros给hadoop增加安全机制，使我的小象不再“裸奔”。首先是打开hdfs-site.xml，然后加入如下属性。最后设置登录用户名。就是在设置hadoop.http.authentication.signat...
分类：
Web程序 时间：
2015-02-07 00:29:18
阅读次数：
256
[Architecture Design] 跨平台架构设计跨越平台Productivity Future Vision 2011在开始谈跨平台架构设计之前，请大家先看看上面这段影片，影片内容是微软在2011年所描绘的未来生活蓝图。在观看的过程中，请大家以「软件开发人员」的角度来思考，想想软件开发人员...
分类：
其他好文 时间：
2015-02-06 23:06:11
阅读次数：
241
jdk版本jdk-7u71-linux-x64.tar.gzhadoop版本hadoop-1.2.1.tar.gzwindow安装hadoop使用cygwin安装格式化hadoop的文件系统HDFS总是不能成功，貌似是乱码因为jkd的安装目录有空格，网上提示建立软链接http://biyutong....
分类：
其他好文 时间：
2015-02-06 16:22:28
阅读次数：
125
我们在hdfs的/data/join创建两个文件： 上传第一个文件名称为1.txt 内容第一列是日期，第二列uid(普通用户id) 上传第二个文件名称为2.txt 内容第一列是日期，第二列uid(普通用户id) 执行上传到hdfs： hdfs命令行查...
我们在hdfs的/data/join创建两个文件：
上传第一个文件名称为1.txt
内容第一列是日期，第二列uid(普通用户id)
上传第二个文件名称为2.txt
内容第一列是日期，第二列uid(普通用户id)
执行上传到hdfs：
hdfs命令行查询：
web控制台管理查询：
首先在命令行中设置日期格式：
然后声明...
最近遇到个问题，每次重启Hadoop发现HDFS控制台都无法访问，并且查看nameNode的JOBTracker日志，如下
2015-02-05 09:36:18,935 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hadoop cause:java.net.Connec...
分类：
其他好文 时间：
2015-02-05 14:59:25
阅读次数：
124
一直以来,对hdfs的警告信息不报以理睬,今天突然关注了一下.每当我操作hdfs的时候就会出现这样一个警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using buil...
分类：
其他好文 时间：
2015-02-05 14:55:11
阅读次数：
158
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能...
分类：
其他好文 时间：
2015-02-04 23:15:56
阅读次数：
433
Hadoop是Apache Lucene创始人Doug Cutting创建的，Hadoop起源于Apache Nutch，一个开源的网络搜索引擎。最先引起注意是2003年google的一篇论文，该论文实现了谷歌分布式文件系统，也就是GFS，2004年，他们开始着手实现一个开源的实现，也就是HDFS,...
分类：
其他好文 时间：
2015-02-04 23:15:13
阅读次数：
309
Apache Hadoop 项目有两个核心组件，被称为 Hadoop 分布式文件系统 (Hadoop Distributed File System, HDFS) 的文件存储，以及被称为 MapReduce 的编程框架。有一些支持项目充分利用了 HDFS 和 MapReduce。 HDFS： 如果您...
分类：
其他好文 时间：
2015-02-04 21:35:46
阅读次数：
144
