Hadoopdisablefirewallandselinuxrpm-ivhjdk-7u67-linux-x64.rpmyum-yinstallwgetrsyncnmapopenssh-clientscd/usr/local/tarxvf/root/hadoop-2.5.0.tar.gzln-shadoop-2.5.0hadoopvi~/.bashrcexportJAVA_HOME=/usr/java/jdk1.7.0_67exportHADOOP_HOME=/usr/local/hadoopexportPA..
分类：
其他好文 时间：
2014-09-11 15:31:13
阅读次数：
147
随着数据的快速增长，分表，分库，memcache,redis,mongodb,hadoop,bigtable等，各种解决方案呼之欲出。经过测试，在MySQL中，无论如何加索引，数据超过百w时，查询起来耗时很明显。因此mysql分表分库+memcache+redis也不失是一个完美解决方案。由于red...
分类：
数据库 时间：
2014-09-11 15:14:22
阅读次数：
325
来自：http://f.dataguru.cn/thread-271645-1-1.html简介本文主要介绍下面4个方面1．为什么要使用CombineFileInputFormat2．CombineFileInputFormat实现原理3．怎样使用CombineFileInputFormat4．现存...
今天在Pseudodistributed mode下启动HDFS
见配置http://blog.csdn.net/norriszhang/article/details/38659321
但是在试验向HDFS里拷贝文件时，发现出错，说没有找到namenode，用jps查看，有datanode和secondary namenode都启动起来了，但NameNode没有启动起来，用netst...
分类：
其他好文 时间：
2014-09-11 12:35:12
阅读次数：
174
hadoop 错误处理机制1.硬件故障 硬件故障是指jobtracker故障或TaskTracker 故障 jobtracker是单点,若发生故障,目前hadoop 还无法处理,唯有选择最牢靠的硬件作为jobtracker jobtracker通过心跳(周期1分钟) 信号来了解TaskTrac...
分类：
其他好文 时间：
2014-09-11 10:54:11
阅读次数：
153
大家写多线程的程序： 但是正常的编程模型是怎么样的格式呀： 那就是Job-Task的模型进行实现 比如Hadoop的实现，Spring-Batch的实现，Spring里面的实现机制。 这也是并行编程的机制,大家可以了解常见的并行编程的模型介绍： 生产者模型： epoll机制 ...
分类：
其他好文 时间：
2014-09-11 07:40:21
阅读次数：
195
任务执行优化1. 推测式执行： 如果jobtracker 发现有拖后的任务，会再启动一个相同的备份任务，然后哪个先执行完就会去kill掉另一个，因此会在监控页面上经常能看到正常执行完的作业会有被kill掉的任务。2.推测式执行缺省打开，但如果是代码问题，并不能解决问题，而且会使集群更慢，通过在ma....
分类：
其他好文 时间：
2014-09-10 23:39:31
阅读次数：
317
Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读...
分类：
其他好文 时间：
2014-09-10 22:35:31
阅读次数：
401
Hadoop的调度器总结 随着MapReduce的流行，其开源实现Hadoop也变得越来越受推崇。在Hadoop系统中，有一个组件非常重要，那就是调度器，它的作用是将系统中空闲的资源按一定策略分配给作业。在Hadoop中，调度器是一个可插拔的模块，用户可以根据自己的实际应用要求设计调度器。Hado....
分类：
其他好文 时间：
2014-09-10 21:03:51
阅读次数：
248
