由于从官网下载的hadoop中依赖包native hadoop
library是基于32位版本的，在64位机器上安装，会出现以下错误：2014-05-30 19:47:49,703 INFO
org.apache.hadoop.hdfs.server.datanode.DataNode: regis...
分类：
其他好文 时间：
2014-06-06 23:38:29
阅读次数：
494
Spark1.0.0
release于2014-05-30日正式公布，标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性，并提供了更好的API支持；Spark1.0.0添加了Spark
SQL这一个新的重要组件，用于载入和操作Spark的结构化数据；Spark1.0....
分类：
其他好文 时间：
2014-06-06 23:26:39
阅读次数：
295
这里介绍一下hadoop的组成，
hadoop主要由两部分组成，，一个是hdfs，还有一个是mapreduce这两个部分在hadoop
2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本号中有了一个新名字yarn.dfs 主要用来启动
nam...
分类：
其他好文 时间：
2014-06-06 19:27:24
阅读次数：
322
Windows性能监视器前端时间在做动态目标监控，应用程序需要考虑大数据量和多用户并发的操作，系统的性能是解决方案实施性的重要度量。这里简单的记录下Windows中性能监视查看和简单分析。一般操作系统性能主要涉及到的问题主要有：处理器使用情况、内存占有量、磁盘I/0操作以及网络流量等。查看Windo...
Ubuntu12.04-x64编译安装Hadoop2.2.0集群、Hadoop-Eclipse插件
分类：
其他好文 时间：
2014-06-06 14:08:15
阅读次数：
421
在新近发布的spark
1.0中新加了sql的模块，更为引人注意的是对hive中的hiveql也提供了良好的支持，作为一个源码分析控，了解一下spark是如何完成对hql的支持是一件非常有趣的事情。
分类：
其他好文 时间：
2014-06-06 08:40:02
阅读次数：
348
相比Java的MapReduce
api，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作，包括在MapReduce中被忽视的连接Join操作。Hadoop版本：2.2.0Pig...
分类：
其他好文 时间：
2014-06-05 20:08:13
阅读次数：
373
package
com.sogou.web.selector.updana.wapPc;import
org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import
org.apache.hadoop.io.Text...
分类：
其他好文 时间：
2014-06-05 19:23:04
阅读次数：
335
为了装hadoop,先要装hadoop.然后用wubi装ubuntu
10.10，接着开始装hadoop,但是装hadoop要先装ssh等一系列软件，用命令apt-get install
openssh-server发现没有相应软件，接着更新源，即使网上说的速度最快的源163也无效，然后查了下好像1...
分类：
其他好文 时间：
2014-06-05 17:41:25
阅读次数：
237
core-site.xml:fs.default.name:hdfs://hadoop:9000fs.tmp.dir:/usr/local/hadoop/tmphdfs-site.xml:dfs.name.dir:dfs.name.edits.dir:eidtsdfs.replication
分类：
其他好文 时间：
2014-06-04 14:40:40
阅读次数：
254
