it's fine to use shell script to get job done username='pat' wget -N -O "github_user.list" "https://api.github.com/users/${username}/repos?per_page=10 ...
分类：
其他好文 时间：
2020-05-10 19:40:06
阅读次数：
82
一、背景接触talend也挺长一段时间了，在P&G项目中每天都是使用它开发job，做ETL，也看了前辈开发的很多ETL Job，学到不少。也接触了TAC（talend administration center），也发现了TAC的一些优点和不足。优点：1、TAC可以更好的界面化管理job、部署、HA... ...
分类：
其他好文 时间：
2020-05-08 23:13:07
阅读次数：
114
1.hive 创建内部表 CREATE TABLE emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) ROW FORMAT DELIMIT ...
分类：
其他好文 时间：
2020-05-08 18:33:15
阅读次数：
66
前言 我之前的工作中一直在用 Elastic Job 来做任务调度。这也是大家为什么能在我的书籍《Spring Cloud 微服务 入门 实战与进阶》中看到 Elastic Job 的章节。 从 2017 的 2.1.5 版本之后 Elastic Job 没再更新过。我们在做技术选型的时候，对框架的 ...
分类：
其他好文 时间：
2020-05-08 13:16:18
阅读次数：
77
使用hadoop job -list来列出当前hadoop正在执行的jobs 然后使用hadoop job -kill job_1546932571227_0082来杀死该job任务， 原文链接：https://blog.csdn.net/zhy_2117/java/article/details/ ...
分类：
其他好文 时间：
2020-05-07 19:48:36
阅读次数：
124
/var/run/mysqld/的属主和属组属于root，mysql并不能在其中创建文件 手动的新建目录 [root@iz2zei43l28m7vcezzzyyjz apache-tomcat-9.0.0]# mkdir -p /var/run/mysqld/ [root@iz2zei43l28m7 ...
分类：
数据库 时间：
2020-05-06 19:58:12
阅读次数：
99
架构图 说明： 1.logic启动http服务器， 接受http请求，用于将数据推送到kafka以及获取在线用户信息，websocket身份校验 2.comet组件起动webdocket/tcp服务， 管理连接， 并负责将数据推送至指定连接 3. job组件订阅指定kafka指定频道的消息信息, 开 ...
分类：
其他好文 时间：
2020-05-05 12:46:53
阅读次数：
1044
Spark Job log 文件分析： 下面是一个Spark 数据据统计Job 的 log 文件， 从前到后的顺序分析Job的执行过程（Spark local mode）。 启动 SparkContext 提交 Job RatingHistogram 20/05/04 18:02:20 INFO S ...
分类：
其他好文 时间：
2020-05-05 09:12:49
阅读次数：
103
考虑这样一个事实：较小边与较小边比较，较大边与较大边比较一定最优 不然，较大边与较小边比较有可能不能塞入，较小边与较大边比较有可能浪费，不更优，或者说，后者能够塞入的前者一定能塞入，前者能塞入的后者不一定能塞入 考虑每次维护当前较小边的最大值和当前较大边的最大值即可 时间复杂度：O(n) #incl ...
分类：
其他好文 时间：
2020-05-05 01:00:58
阅读次数：
68
