Hbase是一个分布式,版本化(versioned)，构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper，构造HDFS基础上的分布式Hbase。1 安装环境操作系统：Ubuntu-12.04 JDK版本：jdk1.7.0_51 计算....
分类：
其他好文 时间：
2014-06-26 00:31:04
阅读次数：
302
一、java内建序列化机制 java序列化机制将对象转换为连续的byte数据，这些数据可以在日后还原为原先的对象状态，还能自动处理不同操作系统上的差异，也不用担心字节排列次序。 java的类实例可被序列化只要在类声明中加入implements Serializable即可。Serializabl.....
分类：
其他好文 时间：
2014-06-25 23:07:38
阅读次数：
255
在spark1.0中属性支持三种配置方式：1、代码在代码中构造SparkConf时指定master、appname或者key-value等val conf = new SparkConf();conf.setAppName("WordCount").setMaster(" spark://hadoo...
分类：
其他好文 时间：
2014-06-25 20:12:25
阅读次数：
286
在zed的PS端运行spark： （1）设置uboot为sd卡启动rootfs： "sdboot=if mmcinfo; then " \ "run uenvboot; " \ "echo Copying Linux from SD to RAM... && " \ ...
分类：
其他好文 时间：
2014-06-24 14:27:44
阅读次数：
497
0、参考自http://tech.uc.cn/?p=2116 http://www.csdn.net/article/2013-07-08/2816149 1、Spark是一个高效的分布式计算系统。它基于MapReduce（MR）算法实现分布式计算，但Job的中间输出和结果可以保存在内存，从...
分类：
其他好文 时间：
2014-06-24 11:32:46
阅读次数：
268
Spark Application可以在集群中并行运行，其关键是抽象出RDD的概念（详见RDD
细解），也使得Spark Application的开发变得简单明了。下图浓缩了Spark的编程模型。
1：Spark应用程序的结构
Spark应用程序可分两部分：driver部分和executor部分初始化SparkContext和主体程序
...
分类：
其他好文 时间：
2014-06-22 21:48:06
阅读次数：
311
近日“轻量级虚拟化”成为了一个热门话题。它也称为“操作系层的虚拟化”，它允许您在一个主机上运行多个应用程序或系统管理程序。优点是显而易见的：由于它没有间隔在主机硬件和操作系统之间的hypervisor虚拟化管理层，以实现更有效的资源利用。由此带来的效益是，减少了虚拟化开销，同时仍然允许在一个服务器中分离并隔离多个任务。因此，“轻量级虚拟化”在以资料使用为关键业务的环境中是非常吸引人的，比如服务器托管或外包业务（如：云计算、大数据等）。...
分类：
系统相关 时间：
2014-06-22 20:01:16
阅读次数：
374
摘要：MapReduce程序处理专利数据集。
关键词：MapReduce程序 专利数据集...
分类：
其他好文 时间：
2014-06-22 17:03:44
阅读次数：
188
写在前面一：
数据仓库ETL工具有很多，基于大数据环境下的分析，Hive用的多些。本文介绍国外的 一款开源ETL工具——Kettle。
写在前面二：
所用软件说明：
一、什么是Kettle
Kettle是一款国外开源的ETL工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件，transformation和job，transf...
分类：
其他好文 时间：
2014-06-22 12:01:20
阅读次数：
619
之前写了一片有关于阿里大数据比赛排名获取的文章(http://blog.csdn.net/dliyuedong/article/details/22849163),使用的是java,代码虽然不是很多,但是确实也不少.这几天简单的学习了一下php,发现php确实适合建立小网站,没有java(jsp)那样多的代码,但是java毕竟有java的优点,这里也不做说明,大家可以google一下.下面贴出使用...
分类：
其他好文 时间：
2014-06-22 08:23:42
阅读次数：
179
