记录安装Spark环境的过程。前提是Hadoop集群已经安装，详见：Hadoop 2.X 集群安装环境：Centos 6.4 X64 & Hadoop 2.2（三节点集群） & Spark 1.01、获取Spark源码，可以去官网下载，解压。2、编译源码。1）先安装Maven。2）进入源码目录，执行...
分类：
其他好文 时间：
2014-07-16 19:28:29
阅读次数：
180
(¦3[____]← 扫描线问题，抛物线方程为 y=a*x*x 形式，对每个点求出抛物线中轴的范围theta-delta~theta+delta，theta = atan2(y,x)，delta则用方程组可解x*x+y*y=z*z+(a*z*z)^2，tan(theta)=z/(a*z*z)，故th...
分类：
其他好文 时间：
2014-07-16 19:21:57
阅读次数：
191
1.flume的基本概念
本文中所有与flume相关术语都采用斜体英文表示，这些术语的含义如下所示。
flume 一个可靠的，分布式的，用于采集，聚合，传输海量日志数据的系统。
Web Server 一个产生 Events 的系统。
Agent flume 系统中的一个节点，它主要包含三个部件：Source, Channel...
分类：
其他好文 时间：
2014-07-15 12:59:26
阅读次数：
402
# 学习前言
框架整合中用到的所有工程代码，jar包什么的都已经上传到群214293307共享中，需要的话自己下载研究了。
# Flume的学习请参考_00016 Flume的体系结构介绍以及Flume入门案例(往HDFS上传数据)这篇博文
# Kafka的学习请参考_00017 Kafka的体系结构介绍以及Kafka入门案例(初级案例+Java API的使用)这篇博文
# Storm的学习请参考_00019 Storm的体系结构介绍以及Storm入门案例(官网上的简单Java案例)这篇博文
请学习...
分类：
其他好文 时间：
2014-07-14 18:32:41
阅读次数：
574
本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。...
分类：
其他好文 时间：
2014-07-14 17:17:25
阅读次数：
289
又是期末又是实训TA的事耽搁了好久……先把写好的放上博客吧前文：用python + hadoop streaming 编写分布式程序（一） -- 原理介绍，样例程序与本地调试用python + hadoop streaming 编写分布式程序（二） -- 在集群上运行与监控使用额外的文件假如你跑的j...
分类：
编程语言 时间：
2014-07-14 10:59:55
阅读次数：
335
Google声称内部已经抛弃Map-reduce几年了，并在今年的Google IO大会高调发布Cloud Dataflow系统。本文介绍了在这个新框架下如何进行分布式计算，并与现有基于Hadoop的Twitter Summingbird以及Spark框架进行了对比。
分类：
其他好文 时间：
2014-07-13 20:29:26
阅读次数：
353
Linux 2.4版本的内核之前，Nginx的事件驱动方式是使用的poll、select函数。进程需要等待连接上有事件发生（收到数据）时，需要把所有连接都告诉内核，由内核找出哪些连接上有事件发生。由于需要把大量连接从用户空间拷贝到内核空间，所以开销巨大，因此，使用poll、select事件驱动方式，最大并发数量只能达到几千。Linux 2.6版本之后添加了epoll函数接口，使得最大并发数量可以达...
分类：
其他好文 时间：
2014-07-13 17:27:34
阅读次数：
311
前面几章节谈论了企业如何利用大数据帮助企业建立精准营销模型,大家了解了"大数据"\"小数据",那么数据本身的问题解决了,今天我说一下另外一个非常重要的概念,就是"即时性"。可以说大数据最重要的意义之一是解决了营销上的“实时性”问题，在当下手机、平板多屏运作，快速处理用..
分类：
其他好文 时间：
2014-07-13 15:18:57
阅读次数：
183
网上说的天花乱坠，都是抄来抄去，没有一个是经过自己试验，然后才写的周氏一族，整理技术文档，给下一代留点教程......1、服务器系统准备2、安装文件准备2.1源码文件，请上官网，下载，或者用我下面的地址也可以。http://dss.macosforge.org/downloads/DarwinStreamingSrvr6.0..
分类：
Windows程序 时间：
2014-07-13 14:51:31
阅读次数：
1158
