Phoenix 提供了一个导入海量数据的MapReduce工具 CsvBulkLoadTool，根据官方的说明，使用这个工具可以高效地往hbase导入csv文本数据，内部会使用phoenix api去处理数据，包括数据类型、salt rowkey处理、索引表同步等等。
但是使用这个工具类在导入数据量比较大的情况下reducer阶段却发生了OOM......
分类：
其他好文 时间：
2016-05-07 08:14:30
阅读次数：
220
一、排序和聚集
hive中的order by能够预期产生完全排序的结果，但这个排序的过程只是使用一个reduce任务来完成的，这个面对大规模的数据集肯定不可行的
因此
sort by出现，它可以为每个reduce任务产生一个排序文件
distribute by
可以控制某个特定行应该到哪个reducer，目的在于进行后续的聚集操作
例如
from record2
select ye...
分类：
其他好文 时间：
2016-05-06 15:27:42
阅读次数：
208
1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reduc ...
分类：
其他好文 时间：
2016-05-05 16:02:24
阅读次数：
736
MultipleOutputs 类可以将数据写到多个文件，这些文件的名称源于输出的键和值或者任意字符串。这允许每个 reducer（或者只有 map 作业的 mapper）创建多个文件。 采用name-m-nnnnn 形式的文件名用于 map 输出，name-r-nnnnn 形式的文件名用于 red ...
分类：
其他好文 时间：
2016-05-02 21:08:31
阅读次数：
468
1、需求 按学生的年龄段，将数据输出到不同的文件。这里我们分为三个年龄段：小于等于20岁、大于20岁小于等于50岁和大于50岁 2、实现 1、编写Partitioner，代码如下 2、编写mapper 3、编写reducer 4、一些运行代码 3、总结 Partitioner适用于事先知道分区数的情 ...
分类：
其他好文 时间：
2016-05-02 11:49:04
阅读次数：
207
Reducers are also often used for changing a single property inside of other reducers. This lesson shows how a type can enter the people reducer, but t ...
分类：
其他好文 时间：
2016-04-28 07:00:48
阅读次数：
163
Add another reducer: Added a 'people' reducer, defined a 'defaultPeople' as default state. In bootstrap, add people reducer to the provideStore(). The ...
分类：
其他好文 时间：
2016-04-27 22:43:25
阅读次数：
286
1、Redux简介 在Redux中，最为核心的概念就是 state、action 、reducer 以及 store。 以常见的红路灯为例，将其应用到Redux中： action：就是灯的变化，"红变绿"等，用名词表述 state：就是灯的名字，红灯、绿灯等，用名词表述 reducer：就是灯的变化 ...
分类：
其他好文 时间：
2016-04-27 20:18:53
阅读次数：
126
While action types allow you tell your reducer what action it should take, the payload is the data that your reducer will use to update the state. ...
分类：
其他好文 时间：
2016-04-27 06:50:59
阅读次数：
168
上周利用业余的时间看了看Redux，刚开始有点不适应，一下在有了Action、Reducer、Store和Middleware这么多新的概念。 经过一些了解之后，发现Redux的单向数据里的模式还是比较容易理解的，结合着Redux的单向数据流模型，很多概念就比较清晰了。 下面就按照自己的理解整理出了 ...
分类：
其他好文 时间：
2016-04-18 11:37:10
阅读次数：
181
