python 微信聊天D:\untitled\hello.py 入口 web禁止登陆。。 安装命令：手动安装：D:\python\setuptools-41.2.0>python setup.py install 下载下来手动安装pip D:\python\pip-1.4.1\pip-1.4.1>p ...
分类：
编程语言 时间：
2019-09-15 19:49:58
阅读次数：
175
Hive理论1、Hive是什么？一个sql解析引擎，将SQL解析成MR，Hive本质就是MR2、Hive不存数据的，数据实际存在HDFS上，元数据基本上都存在mysql上3、Hive内容是读多写少，不支持数据的改写和删除4、Hive的SQL和传统SQL区别： 可扩展性：用户自定义函数 1）UDF：用 ...
分类：
其他好文 时间：
2019-09-15 17:10:25
阅读次数：
110
1、分区表管理 1.1、创建分区表 hive (db_test)> create table dept_partition(deptno int, dname string, loc string) > partitioned by(month string) > row format delimi ...
分类：
其他好文 时间：
2019-09-14 19:26:21
阅读次数：
89
一、上节总结回顾 上一讲里，根据DMP系统的各个应用场景，我们从抽象的原理层面，选择了AeroSpike作为KV数据库，Kafka作为数据管道，Hadoop/Hive来作为数据仓库。 不过呢，肯定有不信邪的工程师会问，为什么MongoDB，甚至是MySQL这样的文档数据库或者传统的关系型数据库不适应 ...
分类：
数据库 时间：
2019-09-14 11:57:40
阅读次数：
138
1、hive抓取策略 hive.fetch.task.conversion = more/none more不走mr，none走mr 2、explain 显示执行计划 3、设置本地运行模式 set hive.exec.mode.local.auto = true hive.exec.mode.loc ...
分类：
其他好文 时间：
2019-09-14 10:20:34
阅读次数：
98
1Fetch抓取Fectch抓取是指对某些情况下的查询不必使用MapReduce计算将hive.fetch.task.conversion设置成more，在全局查找、字段查找、limit查找等都不走MapReduce2本地模式多数的HadoopJob是需要Hadoop提供的完整的可扩展性来处理大数据集的，不过，有时Hive的输入数据量是非常小的，在这种情况下，为查询触发执行任务消耗的时间可能会比实
分类：
其他好文 时间：
2019-09-13 17:21:44
阅读次数：
105
背景介绍 Kylin 作为OLAP中主流的框架之一，其优势是在于利用Cube对数据做预计算。在离线计算的场景中，数据源为Hive表，使用Spark/MR对源数据进行折叠，将结果存储在HBase中。用户在查询的时候，元数据使用的是折叠后的维度（同步自Hive），实际查询的是HBase的结果。 这就带来 ...
分类：
其他好文 时间：
2019-09-13 12:52:11
阅读次数：
131
Hive数据导入方式,Hive数据导出方式。hive，hdfs数据
分类：
其他好文 时间：
2019-09-13 11:32:35
阅读次数：
123
原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1.内置运算符1.1关系运算符 1.2算术运算符 1.3逻辑运算符 1.4复杂类型函数 1.5对复杂类型函数操作 2.内置函数2.1数学函数 2.2收集函数 ...
分类：
其他好文 时间：
2019-09-12 00:20:40
阅读次数：
128
DML主要是对Hive 表中的数据进行操作的（增 删 改），但是由于Hadoop的特性，所以单条的修改、删除，其性能会非常的低所以不支持进行级操作； 主要说明一下最常用的批量插入数据较为常用的方法： 1、从文件中加载数据 例： ...
分类：
其他好文 时间：
2019-09-12 00:18:00
阅读次数：
158
