问题 在Ubuntu中，有时候运用sudo apt-get install 安装软件时，会出现如下的情况： 三种解决方案 这是由于apt因某种原因还在后台运行 1、找到并且杀掉所有的apt-get 和apt进程 运行下面的命令来生成所有含有 apt 的进程列表，你可以使用ps和grep命令并用管道组 ...
分类：
系统相关 时间：
2019-02-23 01:33:20
阅读次数：
308
接触flink已经有3个月了，第一次接触flink是从极客时间上的大沙的演讲中了解的。 最近半年对大数据已经有了一定的入门，一方面因为工作中会用到hive，另外工作已经快5年了，一直从事java后台开发，但是一直没有搞明白最终要做什么。 虽然接触大数据比较晚，但是还好接触了。感觉现在进入到了一个新领 ...
分类：
其他好文 时间：
2019-02-23 01:09:26
阅读次数：
206
1 创建表 hive命令行操作 2 造数据 shanxi.txt hunan.txt 3 导入数据 hive命令行操作 4 查询hive数据 hive表结构 hive> describe extended emp; 查询hive分区数据 hive> select * from emp where p ...
分类：
数据库 时间：
2019-02-22 18:30:52
阅读次数：
202
1、配置源和目标的数据连接源（oracle）：目标（Hive 2.1.1)，需要事先将hive的驱动程序导入HHDI的lib目录中。Hive2.1.1需要的jar包如下：可根据自身情况更换hadoop和hive的jar包。hadoop-common-2.6.0.jarhive-common-2.1.... ...
分类：
数据库 时间：
2019-02-22 14:07:32
阅读次数：
391
ETL清洗数据 导Jar包 ETLUtil.java ETLMapper.java ETLDriver.java ...
分类：
其他好文 时间：
2019-02-22 00:53:51
阅读次数：
153
概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 主要作用：实时读取服务器本地磁盘数据，将数据写入HDFS； 优点： Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到 ...
分类：
Web程序 时间：
2019-02-22 00:35:29
阅读次数：
222
今天有一个需求需要将一份文档形式的hft与fdd的城市关系关系的数据导入到hive数仓中，之前没有在hue中进行这项操作(上家都是通过xshell登录堡垒机直接连服务器进行操作的)，特此记录一下。 ...
分类：
其他好文 时间：
2019-02-21 21:28:54
阅读次数：
486
1. hive 中 语句的执行顺序。 2. hive的 窗口函数 3. mysql 或hive 的sql优化方法，怎样可以显著提高执行效率。 4. sql中加索引要注意额事项。 5. 一张表：班级、姓名、成绩。查出每个班级中前3名对应的记录。 pandas的熟悉程度考察。 简历中，不用非常在意说 会 ...
分类：
其他好文 时间：
2019-02-21 14:17:26
阅读次数：
148
Sqoop: 1、sqoop从数据库中导入数据到HDFS 2、SQOOP从数据库导入数据到hive 3、sqoop从hive中将数据导出到数据库 sqoop底层还是执行的mapreduce程序，，但是特殊的地方只有map TASK 可以实现：企业级数据仓库、文档型系统、关系型数据库<--> sqoo ...
分类：
其他好文 时间：
2019-02-21 12:27:51
阅读次数：
301
2019/2/21星期四hive高级操作（优化，数据倾斜优化）分区表/桶表应用，skew，map-join//见hive的基本语法行列转换hive优化hive优化思想Explain的使用经典案例(distinctcount)数据倾斜的原因操作：关键词情形后果1、Join其中一个表较小，但是key集中分发到某一个或几个Reduce上的数据远高于平均值；2、大表与大表，但是分桶的判断字段0值或空值过多
分类：
其他好文 时间：
2019-02-21 10:59:46
阅读次数：
205
