3，动手实战Scala中的泛型 泛型泛型类和泛型方法，也就是我们实例化类或者调用方法的时候可以指定其类型，由于Scala的泛型和Java的泛型是一致的，这里不再赘述。 ? ? 4，动手实战Scala中的隐式转换、隐式参数、...
分类：
其他好文 时间：
2014-12-12 00:07:24
阅读次数：
215
3，动手实战Scala中的泛型 泛型泛型类和泛型方法，也就是我们实例化类或者调用方法的时候可以指定其类型，由于Scala的泛型和Java的泛型是一致的，这里不再赘述。4，动手实战Scala中的隐式转换、隐式参数、隐式类 隐式转换是很多人学习Scala的难点，这是Scala的精髓之一：下面看一下隐藏参...
分类：
其他好文 时间：
2014-12-11 23:55:35
阅读次数：
230
上一篇介绍了hadoop2.4.1的编译过程，以及hive和spark的编译，这次简单介绍hbase的编译过程。hbase0.98.8默认使用hadoop2.2.0进行编译，笔者的hadoop环境是2.4.1版本，为避免包不一致引发的各种错误，需要对hbase进行重新编译。1、生成编译使用的pom文件修改$HBASE_HOME/pom.xm..
分类：
其他好文 时间：
2014-12-11 19:24:03
阅读次数：
245
Scala编程问题集(01)By高焕堂洞庭国际智能硬件检测基地Q-01：如何使用Scala的Singleton机制来表达Class-level的数据。Answer：在面向对象编程(OOP，Object-OrientedProgramming)概念里，属性(Attribute)和函数(Function)都分为两个不同级别(Level)。例如，厦门的科技谷(厦门)公..
分类：
其他好文 时间：
2014-12-11 19:21:41
阅读次数：
199
本文尝试从源码层面梳理Spark在任务调度与资源分配上的做法。...
分类：
其他好文 时间：
2014-12-11 15:51:24
阅读次数：
221
spark在很多时候由于配置的原因造成缺少jar包的情况，本文介绍了两种缺少jar包情况，并介绍了如何使用spark-submit的--jars和--driver-class-path参数将jar包动态调用。...
分类：
编程语言 时间：
2014-12-09 17:54:48
阅读次数：
318
Hadoop，HBase，Storm，Spark到底是什么？
Hadoop=HDFS+Hive+Pig+......
分类：
其他好文 时间：
2014-12-09 17:45:22
阅读次数：
183
Tachyon是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。从软件栈的层次来看，Tachyon是位于现有大数据计算框架和大数据存储系统之间的独立的一层。它利用底层文件系统作为备份，对于上层应用来说，Tachyon就是一个分布式文件系统。本文讲述了Tachyon的重要概念、使用方法以及基本原理。...
分类：
其他好文 时间：
2014-12-09 09:26:53
阅读次数：
243
前两篇文章写了Shuffle Read的一些实现细节。但是要想彻底理清楚这里边的实现逻辑，还是需要更多篇幅的；本篇开始，将按照Job的执行顺序，来讲解Shuffle。即，结果数据（ShuffleMapTask的结果和ResultTask的结果）是如何产生的；结果是如何处理的；结果是如何读取的。...
分类：
其他好文 时间：
2014-12-07 21:48:53
阅读次数：
224
好久没更新博客了，之前学了一些R语言和机器学习的内容，做了一些笔记，之后也会放到博客上面来给大家共享。一个月前就打算更新Spark Sql的内容了，因为一些别的事情耽误了，今天就简单写点，Spark1.2马上就要出来了，不知道变动会不会很大，据说添加了很多的新功能呢，期待中...首先声明一下这个版本...
分类：
数据库 时间：
2014-12-07 01:20:23
阅读次数：
585
