【转自:】http://blog.csdn.net/hitwengqi/article/details/8008203最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。首先要了解一下Hadoop的运行模式:单机模式(standalone)
单机模式是Hadoop的默认模式。当.....
分类:
其他好文 时间:
2014-05-29 01:45:43
阅读次数:
374
【转自】:http://www.superwu.cn/2014/01/10/963/1.1.1.
hadoop的核心思想Hadoop包括两大核心,分布式存储系统和分布式计算系统。1.1.1.1.
分布式存储为什么数据需要存储在分布式的系统中哪,难道单一的计算机存储不了吗,难道现在的几个TB的硬盘装不...
分类:
其他好文 时间:
2014-05-29 01:24:12
阅读次数:
284
背景穿戴式设备承载了物联网、大数据、健康、智能等各路当下或曾经的热门词汇,其风言风语已经飘荡了两年了。当前市面上比较流行的有国外的
jawbone up 手环、NIKE 的 fuelband 和 fitbit force 手环等,国内也不乏类似产品,比如 bong、咕咚等。3
月被网络各种消息吹得心...
分类:
其他好文 时间:
2014-05-28 01:44:01
阅读次数:
207
Eclipse开发过程连接Hadoop集群环境,需要安装Hadoop插件。Hadoop源码包中有Eclipse插件源代码,需要自己动手编译。环境:Hadoop
1.2.1 & EclipseKepler & Windows 7 & JAVA
71、生成插件源码解压Hadoop安装包,找到src\co...
分类:
系统相关 时间:
2014-05-28 00:39:47
阅读次数:
542
Google File System中文版Google Bigtable中文版Google
MapReduce中文版
分类:
其他好文 时间:
2014-05-26 19:48:38
阅读次数:
184
Cgroups是control
groups的缩写,最初由Google工程师提出,后来编进linux内核。Cgroups是实现IaaS虚拟化(kvm、lxc等),PaaS容器沙箱(Docker等)的资源管理控制部分的底层基础。百度私有PaaS云就是使用轻量的cgoups做的应用之间的隔离,以下是关于...
分类:
其他好文 时间:
2014-05-26 19:45:07
阅读次数:
366
hadoop 中
的Text类与java中的String类感觉上用法是相似的,但两者在编码格式和访问方式上还是有些差别的,要说明这个问题,首先得了解几个概念;字符集:
是一个系统支持的所有抽象字符的集合。字符是各种文字和符号的总称,包括各国家文字、标点符号、图形符号、数字等。例如 unicode就是...
分类:
编程语言 时间:
2014-05-26 16:46:37
阅读次数:
398
到底大数据是什么,把这个很神奇的东西拨开以后,它还是很原始的。大家有没有想过,实际上我们一个人就是很精细的大数据分析仪器。我今天认识一个朋友,我的内部会做一个简单判断,我会用眼睛来看,这是图片信息。我会听他的声音,感受声音的声频信息。如果有机会握手,这是一个触摸的信息。通过交流,我能感受到他语言.....
分类:
其他好文 时间:
2014-05-25 18:52:42
阅读次数:
252
在plsql开发中,会涉及到一些大数据量表的数据处理,如将某记录数超亿的表的记录经过处理转换插入到另外一张或几张表。常规的操作方法固然可以实现,但时间、磁盘IO、redo日志等等都非常大。Oracle
提供了一种高级函数,可以将这种数据处理的性能提升到极限。这种函数称为管道函数。在实际项目中,管道函...
分类:
数据库 时间:
2014-05-25 15:05:26
阅读次数:
413
概述这个时代被称之为大数据时代,各行各业生产的数据量呈现爆发性增长,并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此,我们可以很容易的感觉到,在这样一个大数据的时代,我们很多做事情的方法正在发生了改变。例如,基于大数据分析可以做疾病预测控制;基于..
分类:
其他好文 时间:
2014-05-25 08:25:49
阅读次数:
620