1. In strict mode, if ORDER BY is specified, LIMIT must also be specified. 这个错误提示是因为在hive下写的sql使用了order by对数据进行数据排序，因为order by事实上是全局排序，因此，在reduce阶段仅为一 ...
分类：
数据库 时间：
2018-10-24 15:46:08
阅读次数：
279
Hive的相关配置说明 1、Query and DDL Execution 查询和DDL操作 The default number of reduce tasks per job. Typically set to a prime close to the number of available h ...
分类：
其他好文 时间：
2018-10-24 15:37:39
阅读次数：
384
摘要：前言其实cloudera已经做了这个事了,只是把kafka的包和cdh的parcel包分离了,只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了,就可以实现完美集成了。具体实现的简要步骤可参照cloudera官网提供的文档:http://www.cloudera.com/ ...
分类：
其他好文 时间：
2018-10-24 12:00:57
阅读次数：
221
一，DDL操作 1，创建表 创建内部表 创建内部表 创建分区表 分表就是在加入数据前，对表进行相应需求的分开存储。 创建分桶表 分桶就是在输入数据后，把表按照属性的一致性进行整合。 对于每一个表或者是分区，Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive是针对某一列进行分桶 ...
分类：
其他好文 时间：
2018-10-23 23:04:24
阅读次数：
184
最近在做要执行很复杂的sql.然后在文件输出的时候出现了一堆小文件： 为啥要对小文件进行合并一句话总结为：文件数目过多，增加namenode的压力。因为每一个文件的元数据信息都是存在namenode上面的。所以要减少小文件的数据量。 同时也是降低下一个程序处理这些小文件，启动和小文件一样数量的map ...
分类：
其他好文 时间：
2018-10-23 21:05:43
阅读次数：
623
今天在hive数据库当中查询一张表，查询数据为空的值，但是死活就是匹配不到： 查询语句如下： 我直接插寻这个字段是有值的啊，也是为null，为啥就不可以啊。原来真正的问题的源头是从我们使用sqoop导入数据开始的。在sqoop导入数据的时候如果不对null做处理，他会将原来为null的值导入的时候 ...
分类：
数据库 时间：
2018-10-23 14:48:50
阅读次数：
776
首先：借鉴前人大佬！感谢！本文只做整理 http://www.matrix67.com/blog/archives/105 首先在文中介绍了时间复杂度O，本身自己对于这个有所遗忘，并且本身在算法课上学的不咋地，正好借此梳理一下。 下面给出百度百科关于时间复杂的定义： 在计算机科学中，算法的时间复杂度 ...
分类：
其他好文 时间：
2018-10-23 14:37:27
阅读次数：
144
1.安装模式介绍： Hive官网上介绍了Hive的3种安装方式，分别对应不同的应用场景。 a、内嵌模式（元数据保村在内嵌的derby种，允许一个会话链接，尝试多个会话链接时会报错） b、本地模式（本地安装mysql 替代derby存储元数据） c、远程模式（远程安装mysql 替代derby存储元数 ...
分类：
其他好文 时间：
2018-10-23 14:27:11
阅读次数：
217
最近看到有些论坛在讨论js压缩、混淆和加密的问题，特意找了些资料看了下，现在总结一下： 1.关于三者的定义与区别 压缩：删除 Javascript 代码中所有注释、跳格符号、换行符号及无用的空格，从而压缩 JS 文件大小，优化页面加载速度。 混淆：经过编码将变量和函数原命名改为毫无意义的命名（如fu ...
分类：
Web程序 时间：
2018-10-23 14:26:44
阅读次数：
252
https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/0014319347182373b696e637cc04430b8ee2d548ca1b36d000 sys和os模块 http:/ ...
分类：
其他好文 时间：
2018-10-23 10:56:26
阅读次数：
207
