在迁移相关的spark程序到yarn的过程中间，对有些地方的配置进行了调整和优化， 总结起来，常用的一些设置如下:
1. spark.serializer 对象的序列化设置可以设置成spark的序列化类型，相对比较高效和紧凑，网络传输性能比较好
2. spark.kryoserializer.buffer.mb 用来设置对象序列化占用空间大小，当对象比较大的时候需要设置这个选项
3. spa...
分类：
其他好文 时间：
2015-06-26 11:03:05
阅读次数：
6192
在Windows2003中配置ssh服务
在vm里成功做了一个ssh服务器，以下对这个过程做个总结。
步骤一：
在vm win2k3里安装cygwin环境，虚拟机上不了外网，所以就在我的工作机上下载了一个cygwin的安装包，完整的，640M。
把这个包拷贝到虚拟机里面，完全安装，
安装的中间出现很奇怪的进度显示，如下所示。
安装了很长时间，至少有1h，完成之后，双...
目前总结的语句，在查看数据的连接情况很有用 ，写完程序一边测试代码一边查看数据库连接的释放情况有助于分析优化出一个健壮的系统程序来。1.Sql代码1.select count(*) from v$process--当前的数据库连接数select count(*) from v$process;2.S...
分类：
数据库 时间：
2015-06-26 10:51:35
阅读次数：
219
1. eclipse运行web项目后, 默认保存到 workspace\.metadata\.plugins\org.eclipse.wst.server.core\tmp0\wtpwebapps。2.eclipse修改配置服务器启动时间，在workspace\.metadata\.plugins\...
分类：
系统相关 时间：
2015-06-26 10:36:53
阅读次数：
162
在Python程序中有时候我们需要调用shell命令，这里总结一下：1.os.system(cmd) 不能够获取到输出2.os.popen(cmd) 可以用read()方法获取输出，即os.popen(cmd)3.subprocess.Popen(cmd,shell=true) 详见：ht...
分类：
编程语言 时间：
2015-06-26 10:36:18
阅读次数：
167
1、概念术语 在开始之前，需要理解Spring aop 的一些基本的概念术语(总结的个人理解，并非Spring官方定义)：切面(aspect)：用来切插业务方法的类。连接点(joinpoint)：是切面类和业务类的连接点，其实就是封装了业务方法的一些基本属性，作为通知的参数来解析。通知(advic....
分类：
编程语言 时间：
2015-06-26 10:33:06
阅读次数：
228
多少人，出于恐惧技术的心理，还没开始就放弃了……
多少人，终于开始了，弱弱地坚持却最终败给了懒惰……
多少人，战胜了懒惰，却苦于没有正确的方法……
多少人，迷茫地坚持，却看不清未来的方向……
本人，互联网行业测试工程师一枚，为了更好的学习测试，开始学习编程，通过一段时间的摸爬滚打，总结出...
分类：
其他好文 时间：
2015-06-26 09:24:39
阅读次数：
112
1、面向对象的特征有哪些方面？答：面向对象的特征主要有以下几个方面：
- 抽象：抽象是将一类对象的共同特征总结出来构造类的过程，包括数据抽象和行为抽象两方面。抽象只关注对象有哪些属性和行为，并不关注这些行为的细节是什么。
- 继承：继承是从已有类得到继承信息创建新类的过程。提供继承信息的类被称为父类（超类、基类）；得到继承信息的类被称为子类（派生类）。继承让变化中的软件系统有了一定的延续性，...
分类：
编程语言 时间：
2015-06-26 09:13:15
阅读次数：
149
参考：http://www.cnblogs.com/jackge/archive/2013/01/05/2846006.html总结一下，如果对于next数组中的 i，符合i % ( i - next[i] ) == 0 && next[i] != 0 ,则说明字符串循环，而且循环节长度为: i ....
分类：
其他好文 时间：
2015-06-26 09:10:00
阅读次数：
128
现 在越来越多的Java开发人员在谈论OSGi是有其道理的。在几年前上学的时候我进行了比较多的Eclipse插件开发，当时就亲身感觉到Eclipse 插件体系的灵活与强大，而该体系与OSGi也可谓一脉相承、同气连枝。最近打算重新系统的研究一下OSGi，一边学习一边写一个OSGi探秘系列作为总 结，和...
分类：
其他好文 时间：
2015-06-26 09:06:42
阅读次数：
138
