Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。
分类：
其他好文 时间：
2014-05-09 05:14:32
阅读次数：
405
转自：http://marklodato.github.io/visual-git-guide/index-zh-cn.html个人觉得这一篇比一些入门教程更值得看，图解很详细到位，很容易理解其工作原理，明白了这个过程，对以后冲突的产生以及其他难题相信可以依靠自己快速分析出来。有不懂的地方欢迎评论讨...
分类：
其他好文 时间：
2014-05-09 04:16:00
阅读次数：
367
GitHub上免费的版本只能开源代码库，有时候需要配置些私有的服务，不方便公开。现在免费的网盘的容量越来越大，可以用来做存储的服务，如果只使用网盘存储合并代码很不方便，所以使用网盘+git
配置私有仓库。1.首先当然是注册网盘，然后在PC上建立共享文件夹，用于网盘的自动同步。2.在共享文件中初始化G...
分类：
其他好文 时间：
2014-05-09 03:40:11
阅读次数：
317
一、准备工作： 1、下载release版spark
0.9.1，本次用的版本是spark-0.9.1-bin-cdh4。 2、下载scala IDE 3.0.2，这个版本ide的支持scala 2.10版。
二、配置工作 1、在ide中新建scala项目，注意jre要用jdk1.7版的。如下图： 2...
分类：
系统相关 时间：
2014-05-09 03:27:34
阅读次数：
512
Subversion 1.8 and IntelliJ IDEA 13Unlike its
earlier versions, Subversion 1.8 support uses the native command line client
instead of SVNKit to run co...
分类：
其他好文 时间：
2014-05-09 03:07:38
阅读次数：
257
Flex1 到 Flex3 使用的都是 Halo组件，这里将介绍Halo 组件中的List 和 DataGrid 。其中 DataGrid 是显示多列数据中最常用的方式。但是在Spark中还有没对应DataGrid的组件。
先写个“食物”的模型 Dinner.as 。
package model {
[Bindable]
public class Dinner {
public...
分类：
其他好文 时间：
2014-05-09 02:34:26
阅读次数：
306
介绍
Spork是Pig on Spark的highly experimental版本，依赖的版本也比较久，如之前文章里所说，目前我把Spork维护在自己的github上：flare-spork。
本文分析的是Spork的实现方式和具体内容。
Spark Launcher
在hadoop executionengine包路径下，写了一个Spark启动器，同MapReduceLauncher类似，会在launchPig的时候，把传入的物理执行计划进行翻译。
MR启动器翻译的是MR的操作，以及进一步的MR...
分类：
其他好文 时间：
2014-05-09 02:08:17
阅读次数：
358
git服务器搭建过程
服务器Ubuntu虚拟机（Boss），能通过网络访问到（服务器地址：192.168.9.103）。
客户端Win7电脑一台（work）...
分类：
其他好文 时间：
2014-05-09 01:27:34
阅读次数：
302
这里记录一下eclipse开发工具中git的使用说明。
环境：centOS，eclipse-jee-kepler-SR2-linux-gtk-x86_64.tar.gz
eclipse的使用需要依赖Java环境，这边CentOS系统里面已经安装好了JDK：
不能使用open-jdk，此版本会出现不明异常。
1、eclipse安装egit插件：
eclipse里面，help -->...
分类：
系统相关 时间：
2014-05-08 17:24:55
阅读次数：
435
前面配置的是单个账户的使用，我们在开发过程中可能会用到多个账户，如个人账户可能有code-csdn的，也有github的（虽然都是基于github的，主要都是基于ssh的），今天来记录一下多个账户的使用。
1、准备工作
本人目前拥有csdn-code账户和github账户，没有可以点击注册账户。说明一下：csdn-code其实应该就是csdn自己搭建的一个github服务器。
环境：Cent...
分类：
其他好文 时间：
2014-05-08 16:12:33
阅读次数：
640
