Spark On Yarn：从0.6.0版本其，就可以在在Yarn上运行Spark
通过Yarn进行统一的资源管理和调度
进而可以实现不止Spark，多种处理框架并存工作的场景部署Spark On Yarn的方式其实和Standalone是差不多的，区别就是需要在spark-env.sh中添加一些yarn的环境配置，在提交作业的时候会根据这些配置加载yarn的信息，然后将作业提交到yarn上进行...
分类：
其他好文 时间：
2015-05-30 09:25:08
阅读次数：
105
在上一篇文章中,说到了"流程"的由来,以及我对流程的使用. 这一片就是对流程的应用.前一篇文章中说到了三条流程 check_log_measure, check_env_measure, check_update_measure.先来看看chenck_log_measure的源码: 1 --小岩 2...
分类：
其他好文 时间：
2015-05-30 09:19:07
阅读次数：
373
参考：http://blog.csdn.net/huzia/article/details/7616717创建环境变量，确定SID$ vim rman.env export ORACLE_SID=rmanexport ORACLE_BASE=/opt/oracleexport ORACLE_HOME...
分类：
数据库 时间：
2015-05-29 20:05:15
阅读次数：
143
本节从由Django生成的manage.py开始，分析Django源码。python版本2.6，Django版本1.6.11。manage.py代码很简单。#!/usr/bin/env pythonimport osimport sysif __name__ == "__main__": os...
分类：
其他好文 时间：
2015-05-29 19:54:56
阅读次数：
198
#include
#include
JNIEXPORT void JNICALL JAVA_ConDll_open(JNIEnv *env,jobject obj);
生成的头文件中方法命名为java类的完整路径和方法，中间用下划线隔开。
注意：如果项目中调用现成的dll文件，我们必须知道C中方法的声明，并在java程序中创建对应的包结构，如果路径不对应...
分类：
编程语言 时间：
2015-05-28 23:16:57
阅读次数：
306
#!/usr/bin/env python# -*- coding:utf-8 -*from __future__ import print_functionimport pycurlimport reimport systry: from io import BytesIOexcept Im...
分类：
编程语言 时间：
2015-05-28 00:14:25
阅读次数：
268
dockerfile指令介绍DOCKERFILE指令：CMD,ENTRYPOINT,ADD,COPY,VOLUME,WORKDIR,USER,ONBUILD,ENV等1.CMD：用于指定一个容器启动时要运行的命令。类似于RUN指令，只是RUN指令是指定镜像被构建时的命令，而CMD是指容器被启动时要运行的命令dockerrun-i-tzhoufujin/apache/bin/true..
分类：
其他好文 时间：
2015-05-26 19:11:12
阅读次数：
155
说明：代码来自开源中国，所有权归原作者所有代码： 1 #!/usr/bin/env python 2 # --*--codig: utf8 --*-- 3 4 from PyQt4 import QtGui 5 from PyQt4 import QtCore 6 7 class ...
分类：
其他好文 时间：
2015-05-26 14:11:33
阅读次数：
257
主要用来做数据备份，每次用完以后再跑一次脚本，又可以将文件夹下的所有文件拷贝到指定的文件夹内import os,sys,shutil;class cur_env: path = sys.path[0] #print(path) os.chdir(path)# copy files ...
分类：
编程语言 时间：
2015-05-25 20:00:02
阅读次数：
230
How to parse dns request and response ? Scapy is a powerful tool, and it can help us for dns detail.#!/usr/bin/env python
# -*- coding: utf8 -*-"""
execte demo py with root privilege, and finish double...
分类：
其他好文 时间：
2015-05-23 13:00:37
阅读次数：
330
