码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop hive parquet    ( 33788个结果
大数据科普
转自 http://www.cstor.cn/textdetail_6531.html
分类:其他好文   时间:2014-05-09 03:37:49    阅读次数:201
在eclipse中配置spark 0.9.1源码的开发环境
一、准备工作: 1、下载release版spark 0.9.1,本次用的版本是spark-0.9.1-bin-cdh4。 2、下载scala IDE 3.0.2,这个版本ide的支持scala 2.10版。 二、配置工作 1、在ide中新建scala项目,注意jre要用jdk1.7版的。如下图: 2...
分类:系统相关   时间:2014-05-09 03:27:34    阅读次数:512
基于HBASE的并行计算架构之rowkey设计篇
1.大数据在HBASE存储、计算以及查询的应用场景海量数据都是事务数据,事务数据都是在时间的基础上产生的。数据的业务时间可能会顺序产生,也可能不会顺序产生,比如某些事务发生在早上10点,但是在下午5点才结束闭并生成出来,这样的数据就会造成存储加载时的时间连续性。另外海量数据的挖掘后产生的是统计数据,...
分类:其他好文   时间:2014-05-09 03:03:39    阅读次数:347
Hbase Python接口
http://wiki.apache.org/hadoop/Hbase/ThriftApi首先根据Hbase.thrift文件生成Python接口代码,Hbase.thrift在Hbase的源码中有,路径src/main/resources/org/apache/hadoop/hbase/thrif...
分类:编程语言   时间:2014-05-09 02:51:31    阅读次数:344
[BZOJ3568]DZY Loves Math VII
本人BZOJ的处女作。这题题面还是蛮有趣的吧。然后三个问题都蛮有意思的。要保证正确性,出数据还是异常蛋疼啊。本来各出三题的。但是考虑到是OJ上的题,就搞在一起了。这样代码量就会比较大。
分类:其他好文   时间:2014-05-08 23:47:58    阅读次数:846
Hadoop全分布模式操作
http://blog.csdn.net/wangloveall/article/details/20767161摘要:介绍Hadoop全分布模式操作,实现真正意义上的集群架构。关键词:Hadoop 全分布模式 文件配置利用Hadoop解决大数据问题时,我们是用全分布模式来操作Hadoop。如何基于...
分类:其他好文   时间:2014-05-08 23:44:04    阅读次数:354
Hadoop之HDFS
摘要:HDFS是Hadoop的核心模块之一,围绕HDFS是什么、HDFS的设计思想和HDFS的体系结构三方面来介绍。关键词:Hadoop HDFS 分布式存储系统HDFS是Hadoop的核心模块之一,HDFS是什么?它是Hadoop分布式文件系统(Hadoop Distributed File S....
分类:其他好文   时间:2014-05-08 23:38:42    阅读次数:412
Hadoop伪分布模式操作
http://blog.csdn.net/wangloveall/article/details/20195813摘要:本文介绍Hadoop伪分布模式操作,适合于Hadoop学习、开发和调试。关键词:Hadoop 伪分布式 文件配置启动Hadoop支持三种模式操作,分别是单机模式操作、伪分布模式.....
分类:其他好文   时间:2014-05-08 23:37:12    阅读次数:419
【原】centos6.5下hadoop cdh4.6 安装
1、架构准备: namenode 10.0.0.2 secondnamenode 10.0.0.3 datanode1 10.0.0.4 datanode2 10.0.0.6 datanode3 10.0.0.112、安装用户:cloud-user3、[namenode]namenod...
分类:其他好文   时间:2014-05-08 23:27:27    阅读次数:693
Hadoop生态系统
摘要:介绍Hadoop生态系统,从Hadoop生态系统有什么成员,成员能做什么和Hadoop生态系统能够提供大数据问题解决方案两方面来认识。关键词:Hadoop HDFS MapReduce HBase Hive PigHadoop生态图,通俗地说,就是Hadoop核心模块和衍生的子项目。一幅Ha....
分类:其他好文   时间:2014-05-08 23:16:24    阅读次数:387
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!