码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop docker    ( 46925个结果
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)【转】
【转自:】http://blog.csdn.net/hitwengqi/article/details/8008203最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。首先要了解一下Hadoop的运行模式:单机模式(standalone) 单机模式是Hadoop的默认模式。当.....
分类:其他好文   时间:2014-05-29 01:45:43    阅读次数:374
hadoop的核心思想【转】
【转自】:http://www.superwu.cn/2014/01/10/963/1.1.1. hadoop的核心思想Hadoop包括两大核心,分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪,难道单一的计算机存储不了吗,难道现在的几个TB的硬盘装不...
分类:其他好文   时间:2014-05-29 01:24:12    阅读次数:284
智能手环体验:UP24
背景穿戴式设备承载了物联网、大数据、健康、智能等各路当下或曾经的热门词汇,其风言风语已经飘荡了两年了。当前市面上比较流行的有国外的 jawbone up 手环、NIKE 的 fuelband 和 fitbit force 手环等,国内也不乏类似产品,比如 bong、咕咚等。3 月被网络各种消息吹得心...
分类:其他好文   时间:2014-05-28 01:44:01    阅读次数:207
Hadoop-1.2.1 Eclipse插件编译
Eclipse开发过程连接Hadoop集群环境,需要安装Hadoop插件。Hadoop源码包中有Eclipse插件源代码,需要自己动手编译。环境:Hadoop 1.2.1 & EclipseKepler & Windows 7 & JAVA 71、生成插件源码解压Hadoop安装包,找到src\co...
分类:系统相关   时间:2014-05-28 00:39:47    阅读次数:542
Google大数据三篇著名论文中文版
Google File System中文版Google Bigtable中文版Google MapReduce中文版
分类:其他好文   时间:2014-05-26 19:48:38    阅读次数:184
Cgroups控制cpu,内存,io示例
Cgroups是control groups的缩写,最初由Google工程师提出,后来编进linux内核。Cgroups是实现IaaS虚拟化(kvm、lxc等),PaaS容器沙箱(Docker等)的资源管理控制部分的底层基础。百度私有PaaS云就是使用轻量的cgoups做的应用之间的隔离,以下是关于...
分类:其他好文   时间:2014-05-26 19:45:07    阅读次数:366
hadoop中Text类 与 java中String类的区别
hadoop 中 的Text类与java中的String类感觉上用法是相似的,但两者在编码格式和访问方式上还是有些差别的,要说明这个问题,首先得了解几个概念;字符集: 是一个系统支持的所有抽象字符的集合。字符是各种文字和符号的总称,包括各国家文字、标点符号、图形符号、数字等。例如 unicode就是...
分类:编程语言   时间:2014-05-26 16:46:37    阅读次数:398
金融大数据
到底大数据是什么,把这个很神奇的东西拨开以后,它还是很原始的。大家有没有想过,实际上我们一个人就是很精细的大数据分析仪器。我今天认识一个朋友,我的内部会做一个简单判断,我会用眼睛来看,这是图片信息。我会听他的声音,感受声音的声频信息。如果有机会握手,这是一个触摸的信息。通过交流,我能感受到他语言.....
分类:其他好文   时间:2014-05-25 18:52:42    阅读次数:252
Oracle的pipelined函数实现高性能大数据处理
在plsql开发中,会涉及到一些大数据量表的数据处理,如将某记录数超亿的表的记录经过处理转换插入到另外一张或几张表。常规的操作方法固然可以实现,但时间、磁盘IO、redo日志等等都非常大。Oracle 提供了一种高级函数,可以将这种数据处理的性能提升到极限。这种函数称为管道函数。在实际项目中,管道函...
分类:数据库   时间:2014-05-25 15:05:26    阅读次数:413
大数据处理——Hadoop解析(一)
概述这个时代被称之为大数据时代,各行各业生产的数据量呈现爆发性增长,并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此,我们可以很容易的感觉到,在这样一个大数据的时代,我们很多做事情的方法正在发生了改变。例如,基于大数据分析可以做疾病预测控制;基于..
分类:其他好文   时间:2014-05-25 08:25:49    阅读次数:620
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!