Flink 开发环境通常来讲，任何一门大数据框架在实际生产环境中都是以集群的形式运行，而我们调试代码大多数会在本地搭建一个模板工程，Flink 也不例外。 Flink 一个以 Java 及 Scala 作为开发语言的开源大数据项目，通常我们推荐使用 Java 来作为开发语言，Maven 作为编译和包 ...
分类：
编程语言 时间：
2020-05-11 23:48:25
阅读次数：
101
string jsonText = "{'Total':'0','Rows':[{'id':'31','project':'6','project_name':'一卡通','name':'接口测试！','assignedTo':'zhangsan'," +"'realname':'张三','estS ...
分类：
编程语言 时间：
2020-05-11 18:32:39
阅读次数：
348
一、Hive-sql优化 #增加reducer任务数量（拉取数量分流） set mapred.reduce.tasks=20; #在同一个sql中的不同的job是否可以同时运行,默认为false set hive.exec.parallel=true; #增加同一个sql允许并行任务的最大线程数 s ...
分类：
数据库 时间：
2020-05-11 01:21:52
阅读次数：
80
it's fine to use shell script to get job done username='pat' wget -N -O "github_user.list" "https://api.github.com/users/${username}/repos?per_page=10 ...
分类：
其他好文 时间：
2020-05-10 19:40:06
阅读次数：
82
一、背景接触talend也挺长一段时间了，在P&G项目中每天都是使用它开发job，做ETL，也看了前辈开发的很多ETL Job，学到不少。也接触了TAC（talend administration center），也发现了TAC的一些优点和不足。优点：1、TAC可以更好的界面化管理job、部署、HA... ...
分类：
其他好文 时间：
2020-05-08 23:13:07
阅读次数：
114
1.hive 创建内部表 CREATE TABLE emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) ROW FORMAT DELIMIT ...
分类：
其他好文 时间：
2020-05-08 18:33:15
阅读次数：
66
前言 我之前的工作中一直在用 Elastic Job 来做任务调度。这也是大家为什么能在我的书籍《Spring Cloud 微服务 入门 实战与进阶》中看到 Elastic Job 的章节。 从 2017 的 2.1.5 版本之后 Elastic Job 没再更新过。我们在做技术选型的时候，对框架的 ...
分类：
其他好文 时间：
2020-05-08 13:16:18
阅读次数：
77
使用hadoop job -list来列出当前hadoop正在执行的jobs 然后使用hadoop job -kill job_1546932571227_0082来杀死该job任务， 原文链接：https://blog.csdn.net/zhy_2117/java/article/details/ ...
分类：
其他好文 时间：
2020-05-07 19:48:36
阅读次数：
124
因为python每次运行完，并不清除内存，nowtime一直不变，这导致了一个致命问题，使我的脚本一直运行失败，具体如下： 我设置的是每隔30分钟登陆一次，代码如下 if __name__ == "__main__": login() schedule.every(30).minutes.do(lo ...
分类：
其他好文 时间：
2020-05-07 15:13:38
阅读次数：
167
