使用hadoop job -list来列出当前hadoop正在执行的jobs 然后使用hadoop job -kill job_1546932571227_0082来杀死该job任务， 原文链接：https://blog.csdn.net/zhy_2117/java/article/details/ ...
分类：
其他好文 时间：
2020-05-07 19:48:36
阅读次数：
124
区分insert into 和 insert overowrite： 0、 命令格式 INSERT OVERWRITE|INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] [(col1,col2 ...)] sele ...
分类：
其他好文 时间：
2020-05-07 13:24:09
阅读次数：
74
一，官网下载地址：https://www.oracle.com/index.html 二，点击下载 三，选择Developer Downloads,点击java 四，点击 java(JDK) for Developers 五，如果不是下载最新版本的话，可以拉到最下面，点击：java Archive( ...
分类：
编程语言 时间：
2020-05-06 19:57:10
阅读次数：
589
我的apt-get install wifiphisher出错, 无法定位软件包, 一般是源配置的问题, vi /etc/apt/sources.list文件, 加入以下源(选择一个即可) #中科大deb http://mirrors.ustc.edu.cn/kali kali-rolling ma ...
分类：
其他好文 时间：
2020-05-06 13:45:39
阅读次数：
186
本文源码：GitHub·点这里||GitEE·点这里一、DataX工具简介1、设计理念DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当
分类：
其他好文 时间：
2020-05-06 10:30:40
阅读次数：
73
前言 目前仅在一家公司做过大数据相关，也不太清楚其他公司情况。东家这常用的大数据离线处理基本就是sqoop导入到hive中，然后使用spark或者hive计算出结果再导出到oracle中。很多情况下是把oracle中整个表或者某个时间条件的筛选出来的数据整个删掉，再把最新的这部分数据全部导数回到or ...
分类：
数据库 时间：
2020-05-05 21:59:35
阅读次数：
102
最近的工作是利用Hive做数据仓库的ETL转换，大致方式是将ETL转换逻辑写在一个hsql文件中，脚本当中都是简单的SQL语句，不包含判断、循环等存储过程中才有的写法，仅仅支持一些简单的变量替换，比如当前账期等。然后通过一个通用的shell脚本来执行hsql文件。该脚本是主要是调用了hive -f ...
分类：
移动开发 时间：
2020-05-04 19:41:21
阅读次数：
296
前言 有同事问到，Spark读取一张Hive表的数据Task有一万多个，看了Hive表分区下都是3MB~4MB的小文件，每个Task只处理这么小的文件，实在浪费资源浪费时间。而我们都知道Spark的Task数由partitions决定，所以他想通过repartition(num)的方式来改变分区数， ...
分类：
其他好文 时间：
2020-05-03 12:43:20
阅读次数：
54
1.分桶之前要打开 hive.enforce.bucketiong=true; 2.分桶处理的对象必须是有,有效的列 , 比如我分了三个桶,针对id , 那么就是取id的hash值 , 然后分别放入三个不同之中 ,注意 不能指定数据存放在哪个桶 , 他自己会根据哪个列判断 , 你只需要保证传入的数据 ...
分类：
其他好文 时间：
2020-05-02 12:06:26
阅读次数：
61
1、virtualbox 网卡桥接 vim /etc/sysconfig/network-scripts/ifcfj-enp0s3 onBoot=yes 2、Centos7 3、JDK1.8 4、MobaXterm 5、hadoop2.4.1 6、Hive 0.13 7、Zookeeper3.4.5 ...
分类：
其他好文 时间：
2020-05-02 00:04:41
阅读次数：
51
