NameNode 192.168.1.122 ?hadoop/hadoop VM ?192.168.1.123? DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop 一、在所有机器上安装o...
分类：
其他好文 时间：
2014-07-22 09:10:37
阅读次数：
199
压缩优化
由于hadoop的很多结果都是由mr触发，mr中间伴随着很多硬盘IO。
所以这里需要启用压缩算法，减少IO数据量，减少IO时间。
症状表现：运行时看到
2014-07-14 18:13:09,386 WARN util.NativeCodeLoader - ...
分类：
其他好文 时间：
2014-07-22 09:03:05
阅读次数：
199
最近的项目上面做大数据插入时总提示内存超出限制 不管怎样unset结果内存仍然很大！ 最终发现是CI的机制导致，只要关闭掉问题解决了 $this->db->save_queries = FALSE; 它会把所有执行的SQL保存一份在内存做调试；...
分类：
数据库 时间：
2014-07-22 08:16:37
阅读次数：
251
想了解hadoop，所以就下了最新的文件，搭建相关的环境，以下为自己在win7上搭建hadoop的相关步骤。 ? ? ? ? 1、下载hadoop，用winRAR解压。（路径不能有空格） ? ? ? ? 2、安装java，此处就不做讲解了。...
1. 什么是大数据 五个简单故事告诉你什么是“大数据” 2.如何看待大数据 要全体不要抽样，要效率不要绝对精确，要相关不要因果 3.大数据能干什么 通过用户的使用习惯来预判用户的行为 4.大数据应用场景...
分类：
其他好文 时间：
2014-07-22 08:13:36
阅读次数：
178
1.下载spark和运行 wget?http://apache.fayea.com/apache-mirror/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz 我这里下载的是1.0.0版,由于我们只是测试spark的用法所以不需要配置spark集群，只需把下好的文件...
分类：
Web程序 时间：
2014-07-21 10:21:45
阅读次数：
206
namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一...
分类：
其他好文 时间：
2014-07-21 10:21:00
阅读次数：
327
写这篇文章始于对维克托前辈《大数据时代》的理解与思考，大数据的浪潮已经一波一波地拍打在中国的土地上，各行各业都在积极的探索与这一技术的接轨 和发展的机遇，所以能够见证并亲历这一个变革技术的时代我们这一代是幸运的。之所以说大数据时代是一次变革，不光是其技术进步所带来的，其伴随的思维冲击 与变革也是前所...
分类：
其他好文 时间：
2014-07-21 10:13:34
阅读次数：
226
Hadoop 1.x版本不支持FileSystem的append操作，而需要升级到Hadoop 2.x,否则会报异常：org.apache.hadoop.ipc.RemoteException: java.io.IOException: Append is not supported. Please...
分类：
移动开发 时间：
2014-07-21 09:13:27
阅读次数：
1094
Hadoop2.2.0版本HDFS的HA配置注：以下配置描述的是HDFS的QJM方式的HA配置。1.1zookeeper集群配置这里我使用了4台机器部署zookeeper集群，机器IP分别是：10.0.0.131Namenode1-v210.0.0.132Namenode2-v210.0.0.133Datanode1-v210.0.0.134Datanode2-v2首先建立zookeeper的数据目录..
分类：
其他好文 时间：
2014-07-20 15:22:31
阅读次数：
363
