前言: kafka是linkedin开源的消息队列, 淘宝的metaq就是基于kafka而研发. 而消息队列作为一个分布式组件, 在服务解耦/异步化, 扮演非常重要的角色. 本系列主要研究kafka的思想和使用, 本文主要讲解kafka的一些基本概念和api的使用. *) 准备工作1) 配置ma.....
非阻塞的程序 应该保障的一些特性 ： 等待无关性wait-free：能确保每次的调用在有限的步数之内完成，不管其他调用的步骤有多少。杀掉几个线程 锁无关性lock-free：执行这段程序的某些线程会被延迟，但必须确保至少...
分类：
其他好文 时间：
2014-07-22 09:10:35
阅读次数：
374
1.1 Spark交互式分析
运行Spark脚本前，启动Hadoop的HDFS和YARN。Spark的shell提供
了简单方式去识别API，同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力，分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。
进入Spark安装主目录，输入下面的命令，python命令行模式将会启动。
./bin/pysp...
分类：
其他好文 时间：
2014-07-22 00:29:38
阅读次数：
239
?一、下载须知 软件准备： spark-1.0.0-bin-hadoop1.tgz? ?下载地址：spark1.0.0 scala-2.10.4.tgz ? ?下载下载：Scala 2.10.4 hadoop-1.2.1-bin.tar.gz ? 下载地址：hadoop-1.2.1-bin.tar.gz jdk-7u60-li...
分类：
其他好文 时间：
2014-07-21 23:30:01
阅读次数：
525
介绍略 集群安装： 一.准备工作： 1.版本介绍： 目前我们使用版本为kafka_2.9.2-0.8.1（scala-2.9.2为kafka官方推荐版本，此外还有2.8.2和2.10.2可以选择） 2.环境准备： 安装JDK6，目前使用版本为1.6，并配置JAV...
分类：
其他好文 时间：
2014-07-21 10:25:51
阅读次数：
173
这是一个神奇的语言。安装环境就够折腾了，居然还挑eclipse，最新的4.4居然不支持，要用4.3.2第一张都是些简单的概念介绍，但是通过第一张可以看出scala和其他语言的语法上存在较大的区别（当然根据我的知识范围也就是指的c#，Java）关键点：1.Scala中，我们不需要包装类型。 读到这里时...
分类：
其他好文 时间：
2014-07-19 14:16:06
阅读次数：
223
# Kafka 高级部分之自定义Encoder实现Class级别的数据传送已经解析
# 前言
本博文中用到的所有工程代码，jar包什么的都已经上传到群214293307共享中，需要的话自己下载研究了。
本博文《_00023 Kafka 诡异操作_001自定义Encoder实现Class级别的数据传送以及解析》中的Eclipse工程代码下载地址 http://download.csdn.net/detail/u012185296/7633405
# Class级别信息Send的原理
简单的说就是将一个...
分类：
其他好文 时间：
2014-07-18 12:31:58
阅读次数：
527
读操作需要两个参数：一个64位的offset和一个S字节的最大读取量。S通常比单个消息的大小要大，但在一些个别消息比较大的情况下，S会小于单个消息的大小。这种情况下读操作会不断重试，每次重试都会讲读取量加倍，直到读取到一个完整的消息。可以配置单个消息的最大值，这样服务器就会拒绝大小超过这个值的消息。也可以给客户端指定一个尝试读取的最大上限，避免为了读到一个完整的消息而无限次的重试。...
分类：
其他好文 时间：
2014-07-17 20:11:04
阅读次数：
288
程序功能：收集顶点指向的邻居中所在地
/*
* 找出每个顶点所指向的邻居中所在的地区
*/
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import scala.collection.mutable.Map
impor...
分类：
其他好文 时间：
2014-07-16 16:34:28
阅读次数：
299
