数据仓库特性 ~~~ 面向主题性 集成性 非易失性 时变性 ~~~ OLTP/OLAP ~~~ OLTP：面向事务处理 注重的事务 注重响应的时间 也就是我们所说的RDBMS(关系型数据库)：比如mysql,oracle,注意和非关系型数据库（noSQL）的区分：比如redis mongodb OL ...
分类：
其他好文 时间：
2019-07-20 00:28:21
阅读次数：
113
dremio,spark-sql,presto和ranger的整合 当前，ranger没有现成的插件来管理dremio,spark-sql,presto。 暂时使用的方法是新建一个用户，如presto可以创建一个presto用户，然后在ranger中对presto用户赋予hive,hdfs的访问权限 ...
分类：
数据库 时间：
2019-07-19 23:43:34
阅读次数：
188
问题1. hue中中文字符乱码问题，重现步骤如下 create external table test_1_txt (id int, name varchar(100)) location '/tmp/test1' insert into test_1_txt values ( 1,'中国人') c ...
分类：
其他好文 时间：
2019-07-19 23:43:15
阅读次数：
151
不可否认的是 SQL 是一个伟大的发明，它让增删改查的操作更加地便捷化，而且 SQL 的学习成本相对其他编程语言来说较低，被逼到会写 SQL 的运营和产品我都见过不少。。。 大数据行业跟 SQL 更是有不解之缘，可谓“万物皆可 SQL 化”，从Hive/SparkSQL等最原始的最普及的 SQL 查 ...
分类：
数据库 时间：
2019-07-17 09:25:26
阅读次数：
1735
本人全程独立开发,先睹为快: 演示地址(请不要修改数据,影响别人体验):http://lianhua.waytomilky.com/admin.php账号:admin密码:123456 1.可定制开发2.爬虫采集订制 详情购买请前往站长主站: https://www.waytomilky.com/a ...
分类：
其他好文 时间：
2019-07-17 00:34:11
阅读次数：
142
本文参考： "黑泽君相关博客" 本文是我总结日常工作中遇到的坑，结合黑泽君相关博客，选取、补充了部分内容。 开启 map 输出阶段压缩可以减少 job 中 map 和 Reduce task 间数据传输量。 查看配置命令如下，对应的设置只要加上相关值即可,如下 当 Hive 将输出写入到表中时，输出 ...
分类：
其他好文 时间：
2019-07-16 22:51:25
阅读次数：
227
写于2016.7月 最近项目需要在hbase上做统计分析，在本机上装了hive，结果跑小批量数据sum时报错： 查看yarn日志，一样也是空指针异常，还有个提示是No plan file found: hdfs://... 查看hive源码，发现gWork为null，导致空指针异常 接着查看Util ...
分类：
编程语言 时间：
2019-07-15 17:36:26
阅读次数：
545
1.什么是DataX ? DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 2. DataX的设计 为了解决异构数据源同步问题，DataX将复 ...
分类：
其他好文 时间：
2019-07-15 01:23:43
阅读次数：
555
1、下载http://dev.mysql.com/downloads/mysql/； 2、Community > MySQL Community Server； 3、Other Downloads: > Windows (x86, 32-bit), ZIP Archive； 4、解压mysql-8. ...
分类：
数据库 时间：
2019-07-14 15:16:35
阅读次数：
193
1 前提 1. 安装java 2. "安装hadoop" 2 下载安装 2.1 下载 从这里下载，这里以apache hive 2.3.5为例。 https://hive.apache.org/downloads.html 2.2 解压 & 配置环境变量 3 配置 3.1 前提 1. 必须在path ...
分类：
其他好文 时间：
2019-07-14 09:32:24
阅读次数：
121
