之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程，scala是需要编译才能执行的语言，但提供的scala repl可以实现代码的实时交互式执行，这是为什么呢？既然scala已经提供了repl，为什么spark还要自己单独搞一套spark repl，这其中的缘由到底何在？...
分类：
其他好文 时间：
2014-07-07 21:40:04
阅读次数：
367
晚上的时候把项目目录直接剪切走了 早晨就打不开了去workspace看log .\workspace\.metadata\.log发现如下代码!MESSAGE Could not read metadata for '项目名字'.…………!ENTRY org.eclipse.core.jobs 2 ...
分类：
其他好文 时间：
2014-07-07 16:09:26
阅读次数：
201
欢迎转载，转载请注明出处，徽沪一郎概要在新近发布的spark 1.0中新加了sql的模块，更为引人注意的是对hive中的hiveql也提供了良好的支持，作为一个源码分析控，了解一下spark是如何完成对hql的支持是一件非常有趣的事情。Hive简介Hive的由来以下部分摘自Hadoop defini...
分类：
其他好文 时间：
2014-07-07 14:45:58
阅读次数：
224
欢迎转载，转载请注明出处，徽沪一郎。Spark Streaming能够对流数据进行近乎实时的速度进行数据处理。采用了不同于一般的流式数据处理模型，该模型使得Spark Streaming有非常高的处理速度，与storm相比拥有更高的吞能力。本篇简要分析Spark Streaming的处理模型，Spa...
分类：
其他好文 时间：
2014-07-07 14:44:43
阅读次数：
213
欢迎转载，转载请注明出处，徽沪一郎，谢谢。在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理...
分类：
其他好文 时间：
2014-07-07 14:36:48
阅读次数：
275
欢迎转载，转载请注明出处，徽沪一郎。概要在即将发布的spark 1.0中有一个新增的功能，即对sql的支持，也就是说可以用sql来对数据进行查询，这对于DBA来说无疑是一大福音，因为以前的知识继续生效，而无须去学什么scala或其它script.一般来说任意一个sql子系统都需要有parser,op...
分类：
数据库 时间：
2014-07-07 14:34:40
阅读次数：
396
总是隔一段时间才写一次C++，有些东西老是用完就忘了……记一下如何用gdb来调试core dump免得到时候又忘记。首先需要设置core file的大小，默认是0所以不设不会生成core file$ ulimit -c unlimited然后在编译的flag里加上-g -rdynamic把动态静态符...
分类：
数据库 时间：
2014-06-30 11:17:47
阅读次数：
232
Struts2提供了大量的常量来来帮助开发者快速进行应用开发,比如编码设置,开发模式设置,本地编码设置,国际化处理等.
而Struts2的常量属性是在struts2-core-2.x.x.x/org/apache/struts2/default.properties文件内,其内容为:
# $Id: default.properties 1419061 2012-12-09 18:09:19Z ...
分类：
其他好文 时间：
2014-06-30 09:15:48
阅读次数：
198
在eclipse里导入的时候报错，提示 Invalid project description。
解决办法：
在eclipse的workspace中，找到.metadata文件夹，依次打开------->.plugins文件夹------->org.eclipse.core.resources文件夹------->.projects文件夹
找到你的项目包名一样的文件夹，删除它。
然后从...
分类：
移动开发 时间：
2014-06-30 09:14:46
阅读次数：
207
一、下载国内比较稳定的yum源，我这里下载163的源同时我使用的是CentOS6.2的x86_64版本，所以下载的是CentOS6-Base-163.repo请根据，如下方法确认自己系统的版本[root@561~]#lsb_release-aLSBVersion::core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:..
分类：
其他好文 时间：
2014-06-29 21:14:10
阅读次数：
394
