自从建了Spark交流的QQ群之后，热情加入的同学不少，大家不仅对Spark很热衷对于Storm也是充满好奇。大家都提到一个问题就是有关storm内部实现机理的资料比较少,理解起来非常费劲。尽管自己也陆续对storm的源码走读发表了一些博文，当时写的时候比较匆忙，有时候衔接的不是太好，此番做了一些整...
分类：
其他好文 时间：
2014-05-30 07:25:09
阅读次数：
286
解决tomcat中server.xml设置二级域名
[java.lang.OutOfMemoryError: PermGen space]
分类：
编程语言 时间：
2014-05-27 01:39:10
阅读次数：
310
收到消息某系统一个节点由于内存溢出而宕机，系统的中间件是weblogic，数据库的oracle。
1. 先用IBM HeapAnalyzer分析内存溢出时的dump文件，找到占用内存最多的请求，然后看代码。
2. 在走查代码发现，此类中的方法都特别简单，对单表的增删改查，有查询的地方都是非常简单，不会有操作大数据的情况，这样就排除了数据库方面的问题。
3...
分类：
编程语言 时间：
2014-05-26 04:54:58
阅读次数：
333
therearetwosituationsinthiserror,oneisJavaheapspaceandsolutionasbelow：a.在Eclipse里选：Window->Preference->InstalledJREs->选中->Edit，在DefaultVMArguments里输入-Xms256m-Xmx1024m，表示最小内存256M，最大1G，然后运行就可以了。b.Run->RunConfigur..
分类：
编程语言 时间：
2014-05-25 04:53:25
阅读次数：
301
折腾了好几天，终于可以在CenOS下用eclipse写spark程序了当前环境是CentOS6.5,jdk7,scala2.10.4,spark0.9.1前期因为对linux不熟悉的原因花了不少时间查阅命令。折腾了不少时间，终于把jdk8，scala2.11.0环境变量配置好了。在此环境下可以正常编...
分类：
其他好文 时间：
2014-05-23 06:01:28
阅读次数：
312
1、先说说硬件配置，我最开始是在Win7（I7 4770,8G RAM,2T硬盘）里装ubuntu10.10 64位系统（4G RAM,200G 硬盘）进行源码编译，大概花了3个多小时。而且还多次出现outofmemoryerror 错误。最后将硬件升级为I7 4770、16G内存、2T硬盘，不装虚拟机，直接跑Ubuntu 10.10系统，Swap分区为16G，编译一次大概花了40分钟，没有报任何...
分类：
移动开发 时间：
2014-05-22 23:54:21
阅读次数：
775
本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark
officical document上的来做，总会出现这样或那样的编译错误，让人懊恼不已。
分类：
其他好文 时间：
2014-05-18 20:25:57
阅读次数：
391
今天运行了一个比较大的程序，处理的数据达到126MB数据，将数据导入数据库中，用eclipse 来访问时候，总是出现java.lang.OutOfMemoryError:Java heap space的错误，上网查了一些资料，原来是堆栈溢出的状况，eclipse默认的情况下，堆栈的空间应该是64MB, 所以有时候处理的数据的时候，容易出现堆栈溢出的情况，下面总结了几种方法，解决这个问题。
...
分类：
编程语言 时间：
2014-05-18 15:53:30
阅读次数：
274
Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准，Spark支持Yarn部署，本文将就Spark如何实现在Yarn...
分类：
其他好文 时间：
2014-05-16 04:20:26
阅读次数：
455
