HDFS小文件问题及解决方案:http://dongxicheng.org/mapreduce/hdfs-small-files-solution/Hadoop升级方案(一):Hadoop
1.0内部版本升级(初稿):http://dongxicheng.org/mapreduce-nextgen/...
分类:
其他好文 时间:
2014-05-10 02:08:24
阅读次数:
327
单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版"Hello
World",该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是:统计一系列文本文件中每个单词出现的次数,如下图所示。现在我们以"hadoop...
分类:
其他好文 时间:
2014-05-10 01:54:48
阅读次数:
445
HBase 系统架构图 组成部件说明 Client: 使用HBase
RPC机制与HMaster和HRegionServer进行通信 Client与HMaster进行通信进行管理类操作
Client与HRegionServer进行数据读写类操作 ...
分类:
其他好文 时间:
2014-05-10 01:35:29
阅读次数:
310
date: 20140505author: Jin故障背景:早上启动本本
无法启动,报错信息(几个关键)WARNING:Failed to connect to lvmetad: No such file
direct[FAILED]Failed to mount /var/run/user/100...
分类:
其他好文 时间:
2014-05-09 16:47:25
阅读次数:
479
Hadoop
MapReduce开发最佳实践(上篇)本文是Hadoop最佳实践系列第二篇,上一篇为《Hadoop管理员的十个最佳实践》。MapRuduce开发对于大多数程序员都会觉得略显复杂,运行一个WordCount(Hadoop中hello
word程序)不仅要熟悉MapRuduce模型,还要了...
分类:
其他好文 时间:
2014-05-08 21:45:46
阅读次数:
640
dataguru访问地址:http://f.dataguru.cn/?fromuid=99611课程优惠码:C4B6这段时间一直在dataguru(炼数成金)上学习《hadoop数据分析平台(第十四期)》,说说我对炼数成金的印象。最开始听说dataguru是通过它的广告邮件中的链接,发送的对象是it...
分类:
其他好文 时间:
2014-05-08 21:19:30
阅读次数:
727
1、运行不了安装程序右击安装exe文件->属性->兼容性->以xp
sp3兼容和管理员身份2、安装过程中提示“被挂起”的故障解决:打开注册表编辑器,在HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\SessionManager中找到Pendin...
分类:
数据库 时间:
2014-05-08 20:39:41
阅读次数:
340
Hadoop集群(第9期)_MapReduce初级案例 - 虾皮 - 博客园1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类:
其他好文 时间:
2014-05-08 20:38:16
阅读次数:
669
import java.io.IOException;import
java.util.Iterator;import java.util.StringTokenizer;import
org.apache.hadoop.conf.Configuration;import org.apache.ha...
分类:
其他好文 时间:
2014-05-07 19:14:58
阅读次数:
416
遇到一台电脑黑屏了,显示器有灯亮,但是没有开机启动和任何显示。内存的不干净和松动,CPU的问题,主板电池不足,主板故障,电源不足,都有可能,感觉还是要一步一步来,先拆开其中一个,然后用没有问题的代替它,一步一步测试剩下的。
不过,还是想吐槽下三星的某笔记本,别的电脑装系统能...
分类:
其他好文 时间:
2014-05-07 09:18:00
阅读次数:
258