1.写在前面 在利用spark计算引擎将kafka或其他源数据组件的数据入hive形成数仓的过程中有两种方式，一种方式是利用spark Rdd的API将数据写入hdfs形成hdfs文件，之后再将文件和hdfs文件和hive表做加载映射。第二种方式是利用sparkSQL将获取的数据Rdd转换成data ...
分类：
数据库 时间：
2020-05-09 19:20:15
阅读次数：
100
二者对比 1.Hive 数据仓库：本质其实就相当于将hdfs中已经存储的文件在Mysql中做了一个双射关系，以方便用HQL去管理查询。 用于数据分析、清洗：Hive适用于离线的数据分析和清洗，延迟较高。 基于HDFS、MapReduce：Hive存储的数据依旧在DataNode上，编写的HQL语句终 ...
分类：
其他好文 时间：
2020-05-09 01:23:51
阅读次数：
63
1.hive 创建内部表 CREATE TABLE emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) ROW FORMAT DELIMIT ...
分类：
其他好文 时间：
2020-05-08 18:33:15
阅读次数：
66
使用hadoop job -list来列出当前hadoop正在执行的jobs 然后使用hadoop job -kill job_1546932571227_0082来杀死该job任务， 原文链接：https://blog.csdn.net/zhy_2117/java/article/details/ ...
分类：
其他好文 时间：
2020-05-07 19:48:36
阅读次数：
124
区分insert into 和 insert overowrite： 0、 命令格式 INSERT OVERWRITE|INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] [(col1,col2 ...)] sele ...
分类：
其他好文 时间：
2020-05-07 13:24:09
阅读次数：
74
故障拍错思路：
1.查看两个网关之间是否ping互动：
-查看IP地址设置正确
-相同网段无法互通是交换故障
（不同网段是路由故障）
-sw1接口1.2.3所处vlan不同修改为相同
2.查看vrrp设置
-查看display vrrp brief 相同vrid，虚拟网址
-查看认证情况是否正确 display vrrp 认证类型密码相同
-查看发现与我们需要主/备网关位置不同修改优先级
-备份网关还多出一个vrid 10 undo+创建命令删除这个vrrp
（vrrp主/备网关设置一共是完全相同
除了优先级[主管网优先级数值大于备份网关]）
分类：
其他好文 时间：
2020-05-07 10:44:42
阅读次数：
81
一，官网下载地址：https://www.oracle.com/index.html 二，点击下载 三，选择Developer Downloads,点击java 四，点击 java(JDK) for Developers 五，如果不是下载最新版本的话，可以拉到最下面，点击：java Archive( ...
分类：
编程语言 时间：
2020-05-06 19:57:10
阅读次数：
589
我的apt-get install wifiphisher出错, 无法定位软件包, 一般是源配置的问题, vi /etc/apt/sources.list文件, 加入以下源(选择一个即可) #中科大deb http://mirrors.ustc.edu.cn/kali kali-rolling ma ...
分类：
其他好文 时间：
2020-05-06 13:45:39
阅读次数：
186
本文源码：GitHub·点这里||GitEE·点这里一、DataX工具简介1、设计理念DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当
分类：
其他好文 时间：
2020-05-06 10:30:40
阅读次数：
73
前言 目前仅在一家公司做过大数据相关，也不太清楚其他公司情况。东家这常用的大数据离线处理基本就是sqoop导入到hive中，然后使用spark或者hive计算出结果再导出到oracle中。很多情况下是把oracle中整个表或者某个时间条件的筛选出来的数据整个删掉，再把最新的这部分数据全部导数回到or ...
分类：
数据库 时间：
2020-05-05 21:59:35
阅读次数：
102
