1.写在前面 在利用spark计算引擎将kafka或其他源数据组件的数据入hive形成数仓的过程中有两种方式，一种方式是利用spark Rdd的API将数据写入hdfs形成hdfs文件，之后再将文件和hdfs文件和hive表做加载映射。第二种方式是利用sparkSQL将获取的数据Rdd转换成data ...
分类：
数据库 时间：
2020-05-09 19:20:15
阅读次数：
100
如图，在Hue中提交Oozie周期调度时，可能会遇到提交失败，报500的错误： 解决方案： 这是时区问题，修改调度时区，和Oozie的时区保持一致，再提交就可以正常提交了。 在Hue中确认Oozie时区： 修改调度的时区： 保存，再提交就正常了。 ...
分类：
其他好文 时间：
2020-05-09 11:51:48
阅读次数：
119
二者对比 1.Hive 数据仓库：本质其实就相当于将hdfs中已经存储的文件在Mysql中做了一个双射关系，以方便用HQL去管理查询。 用于数据分析、清洗：Hive适用于离线的数据分析和清洗，延迟较高。 基于HDFS、MapReduce：Hive存储的数据依旧在DataNode上，编写的HQL语句终 ...
分类：
其他好文 时间：
2020-05-09 01:23:51
阅读次数：
63
1.hive 创建内部表 CREATE TABLE emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) ROW FORMAT DELIMIT ...
分类：
其他好文 时间：
2020-05-08 18:33:15
阅读次数：
66
使用hadoop job -list来列出当前hadoop正在执行的jobs 然后使用hadoop job -kill job_1546932571227_0082来杀死该job任务， 原文链接：https://blog.csdn.net/zhy_2117/java/article/details/ ...
分类：
其他好文 时间：
2020-05-07 19:48:36
阅读次数：
124
区分insert into 和 insert overowrite： 0、 命令格式 INSERT OVERWRITE|INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] [(col1,col2 ...)] sele ...
分类：
其他好文 时间：
2020-05-07 13:24:09
阅读次数：
74
一，官网下载地址：https://www.oracle.com/index.html 二，点击下载 三，选择Developer Downloads,点击java 四，点击 java(JDK) for Developers 五，如果不是下载最新版本的话，可以拉到最下面，点击：java Archive( ...
分类：
编程语言 时间：
2020-05-06 19:57:10
阅读次数：
589
我的apt-get install wifiphisher出错, 无法定位软件包, 一般是源配置的问题, vi /etc/apt/sources.list文件, 加入以下源(选择一个即可) #中科大deb http://mirrors.ustc.edu.cn/kali kali-rolling ma ...
分类：
其他好文 时间：
2020-05-06 13:45:39
阅读次数：
186
本文源码：GitHub·点这里||GitEE·点这里一、DataX工具简介1、设计理念DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当
分类：
其他好文 时间：
2020-05-06 10:30:40
阅读次数：
73
1、创建excel 文件 test.xls 和写入内容 2、excel 文件的内容读取 import xlrd work = xlrd.open_workbook('test.xls','r') sheet = work.sheet_by_index(0) print(sheet.nrows) # ...
分类：
其他好文 时间：
2020-05-05 23:41:02
阅读次数：
81
