搜狗搜索日志分析系统 前奏：请提前搭建好你的集群和必要的软件:hadoop + jdk + hive + Sqoop + HBase； 数据（链接是网友的，感谢，感谢，感谢。里面有测试数据）：链接：http://pan.baidu.com/s/1dFD7mdr 密码：xwu8 一：数据预处理（Lin ...
分类：
其他好文 时间：
2019-03-08 17:08:46
阅读次数：
273
如何用hive sql 实现 contain 查询？ 需求：判断某个字符串是否在另一个字符串中？ 方法： 可以自定义函数，但是用正则匹配regexp更方便 代码如下： 首先，查看regexp正则函数的用法： 那么用正则实现包含功能的代码是： 表示 'QQqq' 匹配 '.*qq.*' 为真。QQqq ...
分类：
其他好文 时间：
2019-03-07 16:10:50
阅读次数：
2411
首先，我们写的sql语句执行的查询数据，这种过程叫做查询处理。 概念：查询处理：指从数据库宗提取数据时涉及的一系列活动。这些活动包括：将高层数据库语言表示的查询语句翻译成能在文件系统的物理层上使用的表达式，为优化查询而进行 各种转换，以及查询的实际执行。 查询处理基本步骤包括： 1：优化分析与翻译。 ...
分类：
数据库 时间：
2019-03-06 21:57:32
阅读次数：
186
jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false desc 表名； 可以查看表的描述 ...
分类：
其他好文 时间：
2019-03-06 15:08:02
阅读次数：
146
Azkaban安装部署 https://azkaban.github.io/azkaban/docs/2.5/ 生成密钥对和证书Keytool是java数据证书的管理工具，使用户能够管理自己的公/私钥对及相关证书。-keystore 指定密钥库的名称及位置(产生的各类信息将存在.keystore文件 ...
分类：
其他好文 时间：
2019-03-05 09:44:09
阅读次数：
434
在脉脉上看到一片在程序中对字符串拼接的实现，不用+号如何完成字符串拼接，大概看了下评论，大部分都是说在java中实现不使用+号，完成字符串的拼接操作，在此之前我也是安装以往经验for循环遍历列表使用+号完成字符串拼接操作，今天尝试使用非+号完成字符串的拼接操作，一下拼接一个条件sql的拼接实现例句sql是链接到hive库进行的查询操作代码如下imsis=(‘460020291****15‘,‘46
分类：
编程语言 时间：
2019-03-04 00:05:11
阅读次数：
241
1.Shark Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。除了基于Spark的特性外，Sha ...
分类：
数据库 时间：
2019-03-03 19:09:32
阅读次数：
221
https://blog.csdn.net/YQMind/article/details/80864133 https://zhuanlan.zhihu.com/p/54675834 https://blog.csdn.net/qq_41664845/article/details/84969266 ...
分类：
其他好文 时间：
2019-03-03 18:47:39
阅读次数：
156
我们应该都清楚order by 的含义： 根据某个字段对输出的数据排序，因为只有一个reducer，所以查询效率较慢。 那么hive中，另外两个排序，distribute by和cluster by的含义是什么呢？ distribute by 分区排序 直接上例子，hive中有张工资表：salary ...
分类：
其他好文 时间：
2019-03-03 17:42:12
阅读次数：
242
