公司建立数仓，hive是必不可少的，hive是建立在hadoop基础上的数据库，前面已经搭建起了hadoop高可用，要学习hive，先从搭建开始，下面梳理一下hive搭建过程 1.下载hive安装包 ，下载地址：https://hive.apache.org/downloads.html 找到自己h ...
分类：
其他好文 时间：
2020-02-08 00:22:59
阅读次数：
102
键盘扫描码 原文:https://www.cnblogs.com/wqw/archive/2009/08/30/1556618.html //以下是一个检测按键扫描码的程序 ＃i nclude <bios.h>＃i nclude <stdlib.h>＃i nclude <stdio.h>#defin ...
分类：
其他好文 时间：
2020-02-07 14:32:27
阅读次数：
106
hive安装 hive镜像： http://mirror.bit.edu.cn/apache/hive/ https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 1.解压、添加环境变量 把apache-hive-2.3.6-bin.tar.gz上传到lin ...
分类：
其他好文 时间：
2020-02-07 01:03:22
阅读次数：
97
sqoop是apache旗下，用于关系型数据库和hadoop之间传输数据的工具，sqoop可以用在离线分析中，将保存在mysql的业务数据传输到hive数仓，数仓分析完得到结果，再通过sqoop传输到mysql，最后通过web+echart来进行图表展示，更加直观的展示数据指标。 sqoop基础 基 ...
分类：
其他好文 时间：
2020-02-06 16:40:10
阅读次数：
80
炸了炸了炸了，电脑前边坐了一天，毕设愣是没啥进度，啥也没做成呢？！！！！ 今天主要完成了数据的分页显示，淘宝数据的爬取，早上起床就登录让它爬数据，刚爬了300条又被封了，，，， 在考虑是否换掉数据库，改用mongodb或者hive,后期处理大批的数据，关系型数据库太慢了 ，明天再研究 分页代码，调试 ...
分类：
其他好文 时间：
2020-02-04 23:29:14
阅读次数：
85
hive的日期格式可由String类型保存，只能识别两种格式yyyy-MM-dd和yyyy-MM-dd HH:mm:ss。只要将日期转为这两种格式hive就能识别为日期。也就是不管to_date、to_char都是将日期格式化为字符串。 unix_timestamp(日期字符串,日期格式) 返回日期 ...
分类：
其他好文 时间：
2020-02-03 19:17:55
阅读次数：
2135
使用sqoop将hive中的统计数据导入到mysql中 思路：首先在hive上创建临时表，然后将统计数据放在临时表中，最后通过sqoop将临时表中的数据导入到mysql中。 例子：将各个官方部门回答的数量都导入到mysql中。 1.在hive中创建capital_temp表 create table ...
分类：
其他好文 时间：
2020-02-03 15:56:29
阅读次数：
286
DataFrame创建方式应该按照数据源进行划分，数据源是：普通的txt文件、json/parquet文件、mysql数据库、hive数据仓库 1、普通txt文件： （1）case class 创建 （2）structType 创建 2、json/parquet文件： 直接读取 3、mysql数据库 ...
分类：
其他好文 时间：
2020-02-03 14:04:07
阅读次数：
93
