二十、数据分析20.1、统计表20.2、目标20.3、代码实现20.3.1、Mapper20.3.2、Reducer20.3.3、Runner20.3.4、测试二十一、Hive 之 hourly 分析21.1、目标21.2、目标解析21.3、创建 Mysql 结果表21.4、Hive 分析21.4. ...
分类：
Web程序 时间：
2019-04-17 23:28:47
阅读次数：
336
https://blog.csdn.net/qq_33689414/article/details/80328665 hive关联hbase的配置文件 hive和hbase同步https://cwiki.apache.org/confluence/display/Hivehttps://cwiki. ...
分类：
数据库 时间：
2019-04-17 17:55:48
阅读次数：
182
原文:使用 MSIX 打包 DotNetCore 3.0 客户端程序 如何你希望你的 WPF 程序能够以 Windows 的保护机制保护起来，不被轻易反编译的话，那么这篇文章应该能帮到你。 介绍 MSIX 是微软于去年的 Windows 开发者日峰会 上推出的全新应用打包解决方案。其目的是取代旧式的... ...
分类：
Web程序 时间：
2019-04-17 09:20:07
阅读次数：
174
数据倾斜通常指hive根据key值hash分发到各个节点，相同的key值会分发到一个执行节点中，由于某些key值对应的数据量比其它key值的数据量大很多，导致某些执行节点的运行时间远大于其它节点，从而导致整个job执行时间较长。在hive中执行的sql会有map和reduce两个阶段，map阶段的数据倾斜主要为数据从磁盘读入内存时、join，reduce阶段数据倾斜主要有join、groupby、
分类：
其他好文 时间：
2019-04-15 19:41:06
阅读次数：
257
一。读写Parquet(DataFrame) Spark SQL可以支持Parquet、JSON、Hive等数据源，并且可以通过JDBC连接外部数据源。前面的介绍中，我们已经涉及到了JSON、文本格式的加载，这里不再赘述。这里介绍Parquet，下一节会介绍JDBC数据库连接。 Parquet是一种 ...
分类：
其他好文 时间：
2019-04-13 10:47:33
阅读次数：
461
LAMP 搭建 [TOC] 1：CentOS 7, lamp (module)； (1) 三者分离于两台主机 (2) 一个虚拟主机提供phpMyAdmin；另一个虚拟主机提供wordpress (3) xcache (4) 为phpMyAdmin提供https虚拟主机 http + php + ph ...
分类：
其他好文 时间：
2019-04-13 01:11:12
阅读次数：
137
一.?nosql(非关系性数据库): mongoDB hbase redis nulch hive pig mahout zookeeper 二：redis 数据类型 1.存储string: 常用命令： 设置/取值： set key value get key getset key value de ...
分类：
其他好文 时间：
2019-04-13 00:52:24
阅读次数：
149
并发控制 在计算机科学，特别是程序设计、操作系统、多处理机和数据库等领域，并发控制（Concurrency control）是确保及时纠正由并发操作导致的错误的一种机制。 数据库管理系统（DBMS）中的并发控制的任务是确保在多个事务同时存取数据库中同一数据时不破坏事务的隔离性和统一性以及数据库的统一 ...
分类：
数据库 时间：
2019-04-12 19:10:56
阅读次数：
189
SCD缓慢变化维，比如一个用户维表，用户属性会变化，但是不会变化很剧烈，可能一年只会变化一两次，也不会所有用户的属性都会有变化，只有少量的数据发生变化，所以叫缓慢变化维。这种问题就是由于维度的变化所造成的。 解决方式： 是否保留历史数据 保留多久历史数据 历史状态如何与事实表关联 SCD1 保留最新 ...
分类：
其他好文 时间：
2019-04-12 13:26:13
阅读次数：
181
