1. 非压缩 archive_command = 'cp %p /appdata/pgsql/pg_wal/%f && echo %f >> /appdata/pgsql/pg_wal/archive.list' restore_command = 'cp /appdata/pgsql/pg_wal ...
分类：
数据库 时间：
2020-07-11 10:04:36
阅读次数：
146
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS，查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源，存储资源，实现并行计算 Hive支持标准的SQL语法，免去了编写 ...
分类：
其他好文 时间：
2020-07-10 19:33:44
阅读次数：
77
hive mysql count distinct 多列 解释链接-mysql采坑之count distinct多列 不能使用算术比较运算符（如=，<或<>）来比较空值 COUNT(distinct expr)返回expr列中不同的且非空的行数 COUNT()有两个非常不同的作用：它可以统计某个列值 ...
分类：
数据库 时间：
2020-07-10 15:25:56
阅读次数：
116
XML文档解析，使用Linq to Xml方式操作确实很方便,好东西值得推荐 Models.AjaxResult.BlastSearchResult blastSearchResult = new Models.AjaxResult.BlastSearchResult(); var rssXDoc ...
分类：
Web程序 时间：
2020-07-10 11:37:15
阅读次数：
61
Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的，基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序 MapR ...
分类：
其他好文 时间：
2020-07-06 15:47:59
阅读次数：
67
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.q... ...
分类：
编程语言 时间：
2020-07-05 23:03:01
阅读次数：
289
4、行转列 1．相关函数说明 CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔 ...
分类：
其他好文 时间：
2020-07-05 21:37:44
阅读次数：
56
reflect函数可以支持在sql中调用java中的自带函数，秒杀一切udf函数。 使用java.lang.Math当中的Max求两列中最大值 创建hive表 create table test_udf(col1 int,col2 int) row format delimited fields t ...
分类：
其他好文 时间：
2020-07-05 21:00:30
阅读次数：
253
1、使用explode函数将hive表中的Map和Array字段数据进行拆分 lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一 ...
分类：
其他好文 时间：
2020-07-05 21:00:05
阅读次数：
80
hive当中也带有很多的窗口函数以及分析函数，主要用于以下这些场景 （1）用于分区排序 （2）动态Group By （3）Top N （4）累计计算 （5）层次查询 1、创建hive表并加载数据 创建表 hive (hive_explode)> create table order_detail( ...
分类：
其他好文 时间：
2020-07-05 20:55:24
阅读次数：
60
