准备 1、hadoop已部署（若没有可以参考：Centos7安装Hadoop2.7），集群情况如下： 2、官网下载安装包：apache-hive-2.3.6-bin.tar.gz（推荐去清华大学或中科大的开源镜像站）。 安装 hive只需要部署在主节点node1上，解压apache-hive-2.3 ...
分类：
其他好文 时间：
2019-12-12 16:34:16
阅读次数：
160
#控制台 / 外观 / 编辑当前外观 / 在 functions.php 最后面加入以下代码 #代码已中加入了cookie验证，让文章浏览次数更具有真实性 function get_post_view($archive) { $cid = $archive->cid; $db = Typecho_D ...
分类：
其他好文 时间：
2019-12-12 01:15:08
阅读次数：
103
大表和小表关联查询可以采用mapjoin优化查询速度。那什么是mapjoin呢？理解MapJoin之前先介绍另一种Join方式，CommonJoin。我们知道Hive编写SQL语句，Hive会将SQL解析成MapReduce任务。对于一个简单的关联查询，CommonJoin任务设计Map阶段和Red ...
分类：
其他好文 时间：
2019-12-11 21:07:29
阅读次数：
171
普通的聚合函数聚合的行集是组,开窗函数聚合的行集是窗口。因此,普通的聚合函数每组(Group by)只返回一个值，而开窗函数则可为窗口中的每行都返回一个值。简单理解，就是对查询的结果多出一列，这一列可以是聚合值，也可以是排序值。 开窗函数一般分为两类,聚合开窗函数和排序开窗函数。OVER()：指定分 ...
分类：
其他好文 时间：
2019-12-11 18:52:18
阅读次数：
151
将swoole压缩包下载下来 注意：v4.4.*版本需要phpv7.1及以上版本 （1）下载安装包 wget https://github.com/swoole/swoole-src/archive/v4.3.1.zip （2）进行解压，并进入解压后的文件 unzip v4.3.1.zip cd s ...
分类：
其他好文 时间：
2019-12-11 12:51:33
阅读次数：
100
1.配置hive-site.xml 2.配置hadoop中的core-site.xml文件3.测试 首先将hive安装 然后更改部分配置文件 [root@master hive]# cd apache-hive-2.3.3-bin/conf/ #创建文件 [root@master conf]# to ...
分类：
其他好文 时间：
2019-12-11 00:31:50
阅读次数：
164
spark-shell 整合 hive 1、将 hive/conf/hive-site.xml 拷贝到 spark/conf 下 将 hive/lib/mysql-connector-java-8.0.14.jar 拷贝到 spark-244/jars/mysql-connector-java-8. ...
分类：
其他好文 时间：
2019-12-10 15:21:07
阅读次数：
119
大数据由一系列技术组成，那他们之间的关系是怎么组成的ne，请看下图： hadoop主要做了文件存储系统和提供了一个相对比较弱的mr处理数据的方案 hive是在mr和文件存储系统上面做的升级。 sprak+hbase+hadoop主要解决的是hadoop实时处理数据比较弱的问题 ...
分类：
Web程序 时间：
2019-12-08 10:27:19
阅读次数：
116
更多精彩原创内容请关注： "JavaInterview" ，欢迎 star，支持鼓励以下作者，万分感谢。 Hive 函数 相信大家对 Hive 都不陌生，那么大家肯定用过 Hive 里面各种各样的函数。可能大家都会使用这些函数，但是没有自己动手去写过 Hive 里面的函数。下面主要来介绍一下 Hiv ...
分类：
其他好文 时间：
2019-12-07 23:00:18
阅读次数：
106
最近遇到了一个SqlServer中用@@IDENTITY取最新ID不准的问题，经过在网上的一番查找，找到了如下资料，略作记录："一个网友问我一个关于@@IDENTITY的问题。他的数据库中有一个存储过程，有 insert语句，然后马上就用SELECT @@IDENTITY取刚插入的ID值，通常这是没 ...
分类：
数据库 时间：
2019-12-07 18:02:02
阅读次数：
71
