像用户的手机号，居住城市这些维度会变化的场景，会对用户维度表里面的数据造成影响，这种情况叫做缓慢变化维度。 1.需要跟踪最新变化，就更新数据为最新 2.需要保存历史数据的话， 就可以将主键设置为dwid 添加一个列 对应数据有效值（标识开始和过期时间） 3.维度需要的比较少的话，可以直接增加历史对应... ...
分类：
其他好文 时间：
2019-09-01 21:32:58
阅读次数：
216
大数据也是构建各类系统的时候一种全新的思维，以及架构理念，比如Storm，Hive，Spark，ZooKeeper，HBase，Elasticsearch，等等 storm，在做热数据这块，如果要做复杂的热数据的统计和分析，亿流量，高并发的场景下，最合适的技术就是storm，没有其他 举例说明： S ...
分类：
其他好文 时间：
2019-09-01 21:30:29
阅读次数：
177
基础依赖环境： 1, jdk 已装2, hadoop 2.x 已装3, hive 2.3.64, mysql 5, mysql-connector-jar 1.下载 2.解压拷贝 安装mysql用于存放元数据,把mysql_connector拷贝到lib目录,修改配置文件 创建数据库,创建用户赋予权 ...
分类：
其他好文 时间：
2019-09-01 18:48:10
阅读次数：
107
hive调优 参数调优 1、map阶段数据压缩set hive.exec.compress.intermediate=trueset mapred.map.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodecset m ...
分类：
其他好文 时间：
2019-09-01 16:43:36
阅读次数：
152
HBase通过JavaAPI和HIVE集成 1、Maven导入依赖包： hbase-clinet 版本与server上的hbase相同 2、编写demo 3、发布工程，包括依赖包 4、shell 运行jar 上传jar包到服务器，命令执行 HBase by Phoenix 安装phoenix 每个r ...
分类：
编程语言 时间：
2019-08-28 15:59:30
阅读次数：
146
1、进入hive数据库：hive 2、查看hive中的所有数据库：show databases; 3、用default数据库：use default; 4、查看所有的表：show tables; 5、查询表结构：desc mytest（表名）; 6、查询表数据： select * from myte ...
分类：
其他好文 时间：
2019-08-28 12:36:50
阅读次数：
139
不可否认的是 SQL 是一个伟大的发明，它让增删改查的操作更加地便捷化，而且 SQL 的学习成本相对其他编程语言来说较低，被逼到会写 SQL 的运营和产品我都见过不少。。。 大数据行业跟 SQL 更是有不解之缘，可谓“万物皆可 SQL 化”，从Hive/SparkSQL等最原始的最普及的 SQL 查 ...
分类：
数据库 时间：
2019-08-28 11:13:47
阅读次数：
113
timeline server挂了 hive也挂了 hive使用的tez 而tez设置了 Using YARN Timeline with Tez for History 详见http://tez.apache.org/tez_yarn_timeline.html ...
分类：
其他好文 时间：
2019-08-28 11:13:33
阅读次数：
79
public function zip_download() { $array = array( 'http://local.qki.com/site_upload/erweima/20190826/1566809174292_100063_865373044010119.png', 'http:/... ...
分类：
Web程序 时间：
2019-08-27 19:05:19
阅读次数：
137
先通过可视化工具链接mysql，在链接的时候用sqoop 用户登录 在数据库userdb下新建表 保存，输入表名upflow 现在我们需要把hive里面的数据通过sqoop导入到mysql里面 可以看到mysql的数据 ...
分类：
数据库 时间：
2019-08-27 01:14:19
阅读次数：
141
