spark-beeline的配置，及基本的使用方法
分类：
数据库 时间：
2019-05-22 00:08:57
阅读次数：
280
一， 数字类型 二，日期时间类型 三，字符串类型 四，混杂类型 五，复合类型 5.1 array数据类型 5.2 map类型 5.3 struct类型 正文 一， 数字类型 如下表所示： 实例： 二，日期时间类型 示例：有如下数据： 建表： 三，字符串类型 对于字符串类型，是比较常见的，在Hive中 ...
分类：
其他好文 时间：
2019-05-21 16:03:05
阅读次数：
135
一，文件下载 二，hive安装 2.1 mysql安装 2.2 解压hive 2.3 配置文件配置 2.4 环境变量配置 2.5 添加mysql的connect的jar包 三，hive使用方式 3.1 hive直接启动服务 3.2 hiveserver2以一个服务的方式启动 3.3 hive -e直 ...
分类：
其他好文 时间：
2019-05-21 15:57:51
阅读次数：
159
大数据时代，数据的价值越来越被重视，企业从海量大数据中挖掘所需要的信息，用来驱动业务决策以获得更大的商业价值。与此同时，出现了越来越多的大数据技术帮助企业进行大数据分析，例如ApacheHadoop，Hive，Spark，Presto，Drill，以及今天我们即将介绍的ApacheKylin和ApachePhoenix项目等，都是使用SQL语言就可以分析大数据，极大地降低了大数据的使用门槛。这些大
分类：
数据库 时间：
2019-05-17 12:15:44
阅读次数：
216
Hive架构hive架构如图所示，client跟driver交互，通过parser、planner、optimizer，最后转为mapreduce运行，具体步骤如下driver输入一条sql，会由parser转为抽象语法树AST，这个是没有任务元数据信息的语法树；语法分析器再把AST转为一个一个的QueryBlock，一个QueryBlock包含输入、输出、计算逻辑，也就是说一个子程序就是Quer
分类：
数据库 时间：
2019-05-17 09:20:50
阅读次数：
142
以前写过一个方法，先去参考《T-SQL判断是否为今天》https://www.cnblogs.com/insus/archive/2012/03/22/2411209.html 今天使用一个更加简单的方法来实现： 实例演示： ...
分类：
其他好文 时间：
2019-05-15 09:59:59
阅读次数：
113
1．HIVE和HBASE区别 1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不 ...
分类：
其他好文 时间：
2019-05-15 00:27:15
阅读次数：
155
可以根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导出到HDFS中；（3）、导出到Hive的另一个表中 一、保存结果到本地 方法1：调用hive标准输出，将查询结果写到指定的文件中 方法2：使用INSERT OVERWRITE LOCAL DIRECTORY结果到本地 ...
分类：
其他好文 时间：
2019-05-14 11:25:54
阅读次数：
457
爬取页面；递归：解析HTML，遍历HTML节点数；defer：获取页面的tittle，将页面保存到文件；匿名函数：解析链接，图的遍历；并发的Web爬虫示例：限制并发，程序退出，限制并发的另一个方案，深度限制；取消操作：取消广播，关闭HTTP请求；请求镜像资源
分类：
其他好文 时间：
2019-05-14 00:46:04
阅读次数：
102
