1.日期格式转换（将yyyymmdd转换为yyyy-mm-dd） 2..hive去掉字段中除字母和数字外的其它字符 3.hive解析json字段 content字段存储json {"score":"100","name":"zhou","class":''math"}，若要对json进行解析，则可用 ...
分类：
其他好文 时间：
2019-06-06 18:43:42
阅读次数：
81
一、zookeeper1、安装继续—>完成；二、HDFS1、安装继续—>完成；三、yarn、hive1、安装yarn继续—>完成；2、安装hive继续—>完成；3、测试hivehive> show tables;OKTime taken: 0.41 secondshive> create table... ...
分类：
其他好文 时间：
2019-06-06 15:46:38
阅读次数：
120
1.Presto简介说明 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。 Presto支持在线数据查询，包括Hive, Cassandra, ...
分类：
其他好文 时间：
2019-06-05 12:43:33
阅读次数：
114
一、应用场景 比如：对于数据安全要求比较严格的机房，服务器是不允许上网的。那么我现在开发了一套python程序，需要一些模块，怎么运行？ 二、离线包制作 有2个解决方案： 1. 使用requirement.txt离线安装打包好的包whl 请参考链接：https://blog.csdn.net/wan ...
分类：
编程语言 时间：
2019-06-05 09:22:38
阅读次数：
107
第8章 压缩和存储 8.1 Hadoop源码编译支持Snappy压缩 8.1.1 资源准备 1．CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译，减少文件夹权限出现问题 2．jar包准备(hadoop源码、JDK ...
分类：
其他好文 时间：
2019-06-05 00:22:54
阅读次数：
175
一：Kafka概述 离线部分： Hadoop->离线计算(hdfs / mapreduce) yarn zookeeper->分布式协调（动物管理员） hive->数据仓库（离线计算 / sql）easy coding flume->数据采集 sqoop->数据迁移mysql->hdfs/hive ...
分类：
其他好文 时间：
2019-06-04 09:20:50
阅读次数：
124
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据 ...
分类：
其他好文 时间：
2019-06-02 22:55:47
阅读次数：
138
打开网址： https://www.oracle.com鼠标悬浮在 ‘Menu’ 》 悬浮在 ‘Developers’ 》点击 ‘Developers Porta 3. 下拉 》点击 ‘Java’ 4. 下拉 》点击 ‘Download’ 5. 点击 ‘Download 6. 下拉到最后找到 ‘Ja ...
分类：
其他好文 时间：
2019-06-02 18:10:58
阅读次数：
156
第6章 查询 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select 查询语句语法： [WITH CommonTableExpression (, CommonTableExpression)*] (Note: O ...
分类：
其他好文 时间：
2019-06-01 19:51:01
阅读次数：
125
关于这部分的知识我也是问了度娘 给你们推荐几个关于这方面的网址：https://www.cnblogs.com/wswang/p/7718103.html https://www.cnblogs.com/guanhao/p/5641675.html https://www.cnblogs.com/k ...
分类：
其他好文 时间：
2019-06-01 19:22:13
阅读次数：
87
