import java.io.File;import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop....
分类：
其他好文 时间：
2014-06-18 20:12:01
阅读次数：
254
hadoop 1.0 mapreduce过程主要问题：JobTracker 是 Map-reduce 的集中处理点，存在单点故障。JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracke...
分类：
其他好文 时间：
2014-06-18 20:00:19
阅读次数：
377
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。zookeeper安装和使用zookeeper的安装基本上可以按...
分类：
其他好文 时间：
2014-06-18 18:34:49
阅读次数：
202
以下内容大部分来自：http://blog.csdn.net/tjvictor/article/details/4360030部分内容出自互联网，实验结果为亲测。 最近自己开发一个向数据库中插入大量历史数据的函数库，需要解决一个大数据量插入的效率问题。不用分析，我知道如果采取逐条数据插入的方式，那么...
分类：
数据库 时间：
2014-06-18 17:05:26
阅读次数：
278
前言Hadoop从存储上来说，是类似于冗余磁盘阵列(RAID)的存储方式，将数据分散存储并提供以提供吞吐量，它的存储系统就是HDFS（Hadoop Distuibute Fils System）；从计算上来说，它通过MapReduce模型，将大数据的计算分发到多台计算机上完成，再将结果合并，减少计算的时间。Hadoop适合于：1、超大数据的计算；2、一次写入、多次读取的模式；3、可以跑在普通的硬件...
分类：
其他好文 时间：
2014-06-16 22:58:13
阅读次数：
250
Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控：
Spark应用程序的WebUI或者Spark Standalone的集群监控指标，然后通过支持指标收集的集群监控系统，如ganglia进行监控辅助监控工具
1：WebUI
Spark应用程序提交后，driver和Executor之间不断的交换运行信息，可以通过driver的4...
分类：
其他好文 时间：
2014-06-16 20:12:51
阅读次数：
325
快半年未更新blog，都快要忘记这里了。这半年内，升级做了父亲，有个宝宝后家里的事比之前忙多了，而且忙的不亦乐乎。这半年内，工作内容也是多样化，好几个重点任务，都要兼顾却精力不够，导致工作任务管理有些混乱。大数据、虚拟化技术需要学习，多个项目管理等需要统筹。技..
分类：
其他好文 时间：
2014-06-16 17:12:04
阅读次数：
259
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Re..
分类：
其他好文 时间：
2014-06-16 17:07:55
阅读次数：
402
2014年第一届电商技术大会由商派牵头在上海举行，抱着有空去凑热闹兼蹭饭的心理去参加了。黄兴公园小南国，UCloud,支付宝，阿里云，1号店等，还有几个小而有特色的公司代表作为嘉宾发言，还是挺有意思的。不过饭只蹭到了一顿兰州拉面+巴比馒头…1号店主讲个性化推荐，号称全站..
分类：
其他好文 时间：
2014-06-16 15:43:46
阅读次数：
319
众所周知，DatagridView控件来处理表各类数据真的是“简单、方便、疗效快”，因此备受广大民众喜爱。今天我们再来继续探讨一下有关它和Excel的“姊妹情深”。
几乎没有人不对Excel不了解，但要说熟悉和认识透彻恐怕我们还远远没有做到（这是题外之言），重点还是Excel的强大数据处理能力带给我们的便利，所以把DatagridView数据表变为老少皆宜的Excel表格就显...
