一、impala基本介绍? 所有的计算都是基于内存来的，官方推荐每台服务器的内存最少128G起 impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive块3到10倍，其sql查询比sparkSQL还要快，号称是当前大数据领域最快的查询sql工具。 i ...
分类：
其他好文 时间：
2020-04-04 18:48:40
阅读次数：
81
一、什么是Presto？ 背景知识：Hive的缺点和Presto的背景 Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。Presto是一个分布式SQL查询引擎，它被设计为用 ...
分类：
其他好文 时间：
2020-04-04 11:41:05
阅读次数：
80
在Linux上面kettle-spoon启动问题 文件大小限制问题 修改此文件 /etc/security/limits.conf * soft nofile 327680 * hard nofile 327680 hdfs soft nproc 131072 hdfs hard nproc 131 ...
分类：
编程语言 时间：
2020-04-03 15:03:45
阅读次数：
81
set自定义变量 今天踩了一个坑： 在hive的命令行操作中，用set 命令可以自定义出一个变量，但是在函数中使用时确调不出来，如图 在查找原因时，这位大佬的博客https://www.cnblogs.com/superpang/p/4639145.html启发了我，会不会是命名空间的原因让函数调用 ...
分类：
其他好文 时间：
2020-04-03 00:47:25
阅读次数：
463
语法 get_json_object(json_txt, path) 函数需要传入两个函数，分别为json字符串及解析的path! 一旦传入的json字符串非法，返回null值！ Path的写法 $:代表json的根对象 .: 子属性操作符 [] : 代表json array的子脚本操作符 案例 j ...
分类：
Web程序 时间：
2020-04-03 00:23:46
阅读次数：
372
1.版本选型 hadoop 3.1.3 hive 3.1.2 presto 0.233.1 2.Prsto 简介 详细参考：https://prestodb.github.io/docs/current/connector.html 2.1 Presto 优势 多数据源，支持SQL，自定义扩展Con ...
分类：
其他好文 时间：
2020-04-03 00:15:16
阅读次数：
177
1-数据仓库的基本特征 2-数据仓库和数据库的区别 3-数据仓库分层和元数据管理 4-Hive的基本介绍 ...
分类：
其他好文 时间：
2020-04-02 18:03:47
阅读次数：
52
RAW RGB格式 10bit Raw RGB, 就是说用10bit去表示一个R, G, 或者B, 通常的都是用8bit的. 所以你后面处理时要把它转换为8bit的, 比较简单的方法就是将低两位去掉, 因为低两位的信号代表范围很小(0~3), 所以可以忽略不计的. 当然, 你也可以根据转换表去转换, ...
分类：
其他好文 时间：
2020-04-02 11:52:26
阅读次数：
73
http://www.oldlinux.org/Book-Lite/ http://www.oldlinux.org/download/clk011c-3.0.pdf http://oldlinux.org/ linux官方版本 http://draconux.free.fr/os_dev/linu ...
分类：
数据库 时间：
2020-04-01 19:46:00
阅读次数：
82
参考链接：Linux命令删除指定日期的文件 #清理当前目录90天前以.log结尾的文件 find -name "*.log" -mtime +90 -exec rm {} \; 示例 #查找文件内容修改发生在2天之内的文件 find /var/log/hive/ -name "*" -mtime - ...
分类：
其他好文 时间：
2020-04-01 19:42:03
阅读次数：
100
