大数据技术之Azkaban 一 概述 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作 ...
分类：
其他好文 时间：
2019-07-26 09:15:11
阅读次数：
265
本文将学习如何使用java创建Storm拓扑并将其部署到Storm集群。 Storm集群的组件 Storm集群类似于Hadoop集群，只不过 Hadoop 上运行"MapReduce jobs"， Storm 上运行"topologies"。 两者最大的差别是，MapReducejobs 最终是完成 ...
分类：
其他好文 时间：
2019-07-19 12:40:50
阅读次数：
96
程序程序是为了完成某种任务而设计的软件，比如qq,office是程序进程进程就是运行中的程序，一个运行着的程序，可能有多个进程线程可以认为是进程中的一个分步骤，只能完成进程中的一个小部分功能进程的查看：gnome-system-monitor图形界面文字界面ps查看瞬间进程默认显示PID进程IDTTY所在终端TIMEcpu中运行时间CMD进程运行命令?a显示终端上的所有进程包括其它用户的进程u按用
分类：
系统相关 时间：
2019-07-16 08:40:39
阅读次数：
150
正在前台运行的程序：ctrl+z 放入后台执行。 查看程序： jobs 程序切换到前台： fg （程序编号） ctrl+alt+f7 从命令界面切换到 桌面界面。 ...
分类：
系统相关 时间：
2019-07-12 18:48:46
阅读次数：
147
1、使用命令pythonmanage.pycrontabadd时报错：‘/temp/xxxxxx’,10,badhour解决方法：看报错的字面意思就是时间填错了，然后我试了各种时间格式，依然报badhour，查了网上一般报时间错误的都是badminute，我意识到不是这个问题，然后仔细比对了下配置文件，发现最后面的逗号没写，一般认为这个元组里面只有一个元素会忽略，但是这里请一定要加上，虽然我也不知
分类：
其他好文 时间：
2019-07-08 23:59:41
阅读次数：
207
1，首先你的电脑上安装了SVN的服务器 VisualSVN-Server-3.7.1-x64.msi 2，打开SVN服务器后，可以看到分布的目录是 Repositories、Users、Groups、Jobs、第一个目录的意思就是你项目的名目录，第二个就是用户管理 3，点击下第一个目录，也就是Rep ...
分类：
其他好文 时间：
2019-07-01 12:26:24
阅读次数：
187
快捷键 重定向技巧 我们在关注打印的信息时往往关注的是错误的信息，我们会考虑将正确的信息进行屏蔽。Linux提供了一个设备/dev/null，他会将所有输入的信息删除掉 例如：# echo "pass" | passwd --stdin root >/dev/null 分离重定向 我们有时候需要查看 ...
分类：
其他好文 时间：
2019-06-28 15:14:00
阅读次数：
97
from urllib import request import urllib import ssl import json url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false' headers... ...
分类：
其他好文 时间：
2019-06-25 16:58:55
阅读次数：
283
尚硅谷大数据技术之Oozie 第1章 Oozie简介 Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调 ...
分类：
其他好文 时间：
2019-06-16 13:47:39
阅读次数：
114
