hadoop 1.0 mapreduce过程主要问题：JobTracker 是 Map-reduce 的集中处理点，存在单点故障。JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracke...
分类：
其他好文 时间：
2014-06-18 20:00:19
阅读次数：
377
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。zookeeper安装和使用zookeeper的安装基本上可以按...
分类：
其他好文 时间：
2014-06-18 18:34:49
阅读次数：
202
以下内容大部分来自：http://blog.csdn.net/tjvictor/article/details/4360030部分内容出自互联网，实验结果为亲测。 最近自己开发一个向数据库中插入大量历史数据的函数库，需要解决一个大数据量插入的效率问题。不用分析，我知道如果采取逐条数据插入的方式，那么...
分类：
数据库 时间：
2014-06-18 17:05:26
阅读次数：
278
◎新媒体做自媒体的还不如玩QQ群的：人家轻松月赚10万东方卫视谈与阿里合作：拥抱互联网，是“我们最后的疯狂”社会化阅读：ZAKER进入瓶颈期◎大数据不打破数据割据，大数据还是“乌托邦”◎可穿戴设备/硬件糖尿病患者福音：iHealth推出小型血糖仪 可插在智能手机耳机孔内使用◎电商中小网站如何使用谷....
分类：
其他好文 时间：
2014-06-18 17:04:09
阅读次数：
223
我们知道，一个典型的Map-Reduce过程包 括：Input->Map->Partition->Reduce->Output。Partition负责把Map任务输出的中间结果 按key分发给不同的Reduce任务进行处理。Hadoop 提供了一个很有用的partitioner类KeyFieldBa...
分类：
编程语言 时间：
2014-06-18 17:00:55
阅读次数：
332
刀是什么样的刀？诸位看到标题，千万不要以为我是模仿《锋利的JQuery》，或者什么书籍，而是因为，介绍Blade的文章，标题不得不这样。Blade由腾讯台风云计算平台出品，大约在2012年下半年开源，它是一把专用于构建软件的宝刀。Blade的字面意义应该是"刀锋"，意思是使用该软件构建软件更加强大，...
分类：
其他好文 时间：
2014-06-18 15:28:09
阅读次数：
209
sqoop版本为1.4.4，hadoop版本为2.2.0，hive版本为0.11.0，hive元数据存放位置为mysql，当使用sqoop 从mysql往hive中导入数据时，总是提示找不到所指定的hive数据库，事实上hive中已存在该数据库，sqoop中也设置了hive路 径，/etc/pro....
分类：
数据库 时间：
2014-06-18 15:06:57
阅读次数：
248
当数据中心内部的网络结构在发生翻天覆地的变化时，与网络密不可分的安全领域也将迎来新一轮的挑战。“云计算体系下，数据中心首先需要虚拟化，而这对网络结构和网络安全提出了新的需求;另外，与大流量的数据中心和云数据中心的发展相适应，大流量的网络安全设备将变成必须。”Fortinet(飞塔)公司中国区总...
分类：
其他好文 时间：
2014-06-18 14:31:17
阅读次数：
201
http://www.lanceyan.com/tech/arch/mongodb_shard1.html按照上一节中《搭建高可用mongodb集群（三）—— 深入副本集》搭建后还有两个问题没有解决：从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？数据压力大到机器支撑不了的时候能否做...
分类：
数据库 时间：
2014-06-17 13:07:58
阅读次数：
549
