Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk,本文尝试分析Spark中存储子系统的构成,并以数据写入和数据读取为例,讲述清楚存储子系统中各部件的交互关系。
分类:
其他好文 时间:
2014-05-09 05:14:32
阅读次数:
405
Hornetq 版本2.4.0final
需要JDK7及以上Hornetq官网Hornetq2.1中文手册step1.启动服务端 1.1准备配置文件(配置说明参考官网手册)
hornetq-configuration.xml 192.168.0.215 ...
分类:
Web程序 时间:
2014-05-09 05:13:31
阅读次数:
900
1.在Eclipse中使用外部命令2.配置外部命令3.设置使用的命令和参数4.设置使用notepad++打开文件
分类:
系统相关 时间:
2014-05-09 05:02:20
阅读次数:
324
在Eclipse中开发web或开启web服务需要Tomcat的支持,在添加Tomcat之前要清楚你的Eclipse版本,如果你的Eclipse是javvEE版的就可以直接安装Tomcat,如果不是就需要先安装javvEE的插件,再配置Tomcat。一、安装java
EE插件1,菜单Help->Ins...
分类:
系统相关 时间:
2014-05-09 04:06:28
阅读次数:
346
一、准备工作: 1、下载release版spark
0.9.1,本次用的版本是spark-0.9.1-bin-cdh4。 2、下载scala IDE 3.0.2,这个版本ide的支持scala 2.10版。
二、配置工作 1、在ide中新建scala项目,注意jre要用jdk1.7版的。如下图: 2...
分类:
系统相关 时间:
2014-05-09 03:27:34
阅读次数:
512
一次异常关机后,eclipse怎么都启动不了,开启任务管理器发现eclipse一直是未响应的状态找了很久,发现是设置的workspace目录出现了什么问题。最终解决方法:进入workspace/.metadata/.plugins/目录重命名或删除org.eclipse.core.resources...
分类:
系统相关 时间:
2014-05-09 02:53:27
阅读次数:
417
http://hi.baidu.com/libaohuimsn/item/aa2d171bb732214f3a176e29以前以为这个东西没用,常常把它给删除了。以为只是eclispe生成的告诉你这里要替换成代码的。今天知道了,这个算是一个标注。比如你现在不想做,想过会做,但是又怕忘了这事或忘记在哪...
分类:
系统相关 时间:
2014-05-09 02:47:51
阅读次数:
467
这里记录一下eclipse开发工具中git的使用说明。
环境:centOS,eclipse-jee-kepler-SR2-linux-gtk-x86_64.tar.gz
eclipse的使用需要依赖Java环境,这边CentOS系统里面已经安装好了JDK:
不能使用open-jdk,此版本会出现不明异常。
1、eclipse安装egit插件:
eclipse里面,help -->...
分类:
系统相关 时间:
2014-05-08 17:24:55
阅读次数:
435
前提:已获得 APNS 证书 ,已完成 MDM 配置描述文件的制作。请参考《 MDM 证书申请流程 》一文和《配置MDM Provisioning Profile》。环境:OSX 10.9.2,JDK 1.6,Eclipse JavaEE Helois,Tomcat 7.0一、前言《THE IOS MDMPROTOCOL》(即Inside Apple MDM)一文中描述了一个简单 MDM Serv...
分类:
其他好文 时间:
2014-05-08 16:05:50
阅读次数:
413
Task的执行过程分析
Task的执行通过Worker启动时生成的Executor实例进行,
caseRegisteredExecutor(sparkProperties)=>
logInfo("Successfullyregistered with driver")
//Make this host instead of hostPort ?
executor=
newExecuto...
分类:
其他好文 时间:
2014-05-08 16:01:31
阅读次数:
667