1、描述spark中怎么加载lzo压缩格式的文件2、比较lzo格式文件以textFile方式和LzoTextInputFormat方式计算数据,RunningTasks个数的影响a.确保lzo文件所在文件夹中生成lzo.index索引文件b.以LzoTextInputFormat处理,能够正常按分块数分配Tasks查看文件块数量[tech@dx2~]$hdfsf..
分类:
其他好文 时间:
2017-08-09 01:06:20
阅读次数:
2038
状态模式,又称状态对象模式(Pattern of Objects for States),状态模式是对象的行为模式。 状态模式允许一个对象在其内部状态改变的时候改变其行为。这个对象看上去就像是改变了它的类一样。 状态模式的结构 用一句话来表述,状态模式把所研究的对象的行为包装在不同的状态对象里,每一 ...
分类:
编程语言 时间:
2017-08-05 00:10:37
阅读次数:
172
有时候,需要将数据以一定格式导出到txt文件中。利用Java的IO可以轻松的导出数据到txt中。 结果: ...
分类:
编程语言 时间:
2017-08-02 21:05:39
阅读次数:
387
Parquet Parquet is a columnar storage format for Hadoop. Parquet is designed to make the advantages of compressed, efficient colunmar data representat ...
分类:
其他好文 时间:
2017-07-30 13:57:11
阅读次数:
309
通过hue的web界面进行hive的sql查询,无法显示结果并报错timeout 报错如下:[28/Jul/2017 11:23:29 +0800] decorators ERROR error running <function execute at 0x7fa741ddc8c0>Tracebac ...
分类:
其他好文 时间:
2017-07-29 14:07:19
阅读次数:
297
Centos7(64位)下安装hadoop-lzo2.10执行./configure时报错:configure:error:noacceptableCcompilerfoundin$PATH***********************************************************查看得知未安装合适的编译器。sudoyuminstallgcc-c++(使用sudoyuminstallgcc-c++时会自动安装/升..
分类:
其他好文 时间:
2017-07-18 16:42:12
阅读次数:
226