一、发布和订阅机制 当一个客户端通过 PUBLISH 命令向订阅者发送信息的时候，我们称这个客户端为发布者(publisher)。 而当一个客户端使用 SUBSCRIBE 或者 PSUBSCRIBE 命令接收信息的时候，我们称这个客户端为订阅者(subscriber)。为了解耦发布者(publi.....
分类：
编程语言 时间：
2014-07-16 21:18:16
阅读次数：
285
spark-submit \--name SparkSubmit_Demo \--class com.luogankun.spark.WordCount \--master yarn-client \--executor-memory 1G \--total-executor-cores 1 \/h...
分类：
其他好文 时间：
2014-07-16 21:09:32
阅读次数：
260
关于redis是什么就不介绍了，安装过程参考了：http://www.cnblogs.com/silent2012/p/3499654.html。#!/bin/bash#定义安装目录export REDIS_HOME=/home/test/redis#创建安装目录mkdir $REDIS_HOME#...
分类：
系统相关 时间：
2014-07-12 13:30:20
阅读次数：
315
大部分人都知道redis是一款用在缓存服务器上的软件，它与memcache类似，都可以存储海量的数据，用在大访问量的web网站、聊天记录存放等方面，但是又与memcache不同：1、缓存数据可以持久化，没有缓存时间限制2、支持更多的数据类型：string、list 、set 、sorted set ...
分类：
Web程序 时间：
2014-07-11 10:33:37
阅读次数：
208
Redis的列表数据结构有blpop和brpop命令，能从列表里返回且删除第一个（或最后一个）元素，或者被堵塞，直到有一个元素可供操作。这可以用来实现一个简单的队列。（译注：对于blpop和brpop命令，如果列表里没有关键字可供操作，连接将被堵塞，直到有另外的Redis客户端使用lpush或rpu...
分类：
Web程序 时间：
2014-07-11 09:49:58
阅读次数：
281
在spark-shell中可以定制成接近shark的操作，让熟悉sql的人轻松上手。...
分类：
其他好文 时间：
2014-07-10 23:08:16
阅读次数：
210
http://ns.adobe.com/mxml/2009"
xmlns:s="library://ns.adobe.com/flex/spark"
xmlns:mx="library://ns.adobe.com/flex/mx" xmlns:supportClasses="com.esri.ags.skins.supportClasses.*" minWidth...
Spark1.1发布后会支持Spark SQL CLI ， Spark SQL的CLI会要求被连接到一个Hive Thrift Server上，来实现类似hive shell的功能。...
分类：
数据库 时间：
2014-07-10 21:14:38
阅读次数：
737
概述
最近工作上忙死了……广播变量这一块其实早就看过了，一直没有贴出来。
本文基于Spark 1.0源码分析，主要探讨广播变量的初始化、创建、读取以及清除。
类关系
BroadcastManager类中包含一个BroadcastFactory对象的引用。大部分操作通过调用BroadcastFactory中的方法来实现。
BroadcastFactory是一个Trait，有两个直接子...
分类：
其他好文 时间：
2014-07-10 19:43:49
阅读次数：
298
本文介绍了spark对hadoop sequencefile的读写支持，实现方式以及简单的使用方法。sequencefile和textfile类似，在上下文里有直接提供读取方法，但最终走的还是hadoopFile方法。...
分类：
其他好文 时间：
2014-07-10 17:11:52
阅读次数：
951
