记录安装Spark环境的过程。前提是Hadoop集群已经安装，详见：Hadoop 2.X 集群安装环境：Centos 6.4 X64 & Hadoop 2.2（三节点集群） & Spark 1.01、获取Spark源码，可以去官网下载，解压。2、编译源码。1）先安装Maven。2）进入源码目录，执行...
分类：
其他好文 时间：
2014-07-16 19:28:29
阅读次数：
180
数据存储 MongoDb 针对大数据量、高并发、弱事务的互联网应用 MemCache 简单的key-value存储，读取内存，效率高 Redis 可存储list，持久化，内存读取效率高 Cassandra 分布式数据库，更好的扩展性，对大数据更好的支持 http://www.ibm...
分类：
其他好文 时间：
2014-07-15 08:00:42
阅读次数：
220
本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。...
分类：
其他好文 时间：
2014-07-14 17:17:25
阅读次数：
289
一、redis安装1 下载redis安装包wgethttp://redis.googlecode.com/files/redis-2.4.17.tar.gz（若无法下载请手动下载）2 编译安装Linux代码$tarzxvfredis-2.4.17.tar.gz$cdredis-2.4.17$make...
分类：
Web程序 时间：
2014-07-14 14:47:10
阅读次数：
294
又是期末又是实训TA的事耽搁了好久……先把写好的放上博客吧前文：用python + hadoop streaming 编写分布式程序（一） -- 原理介绍，样例程序与本地调试用python + hadoop streaming 编写分布式程序（二） -- 在集群上运行与监控使用额外的文件假如你跑的j...
分类：
编程语言 时间：
2014-07-14 10:59:55
阅读次数：
335
定制spark让sql更简单，上个版本的start.scala用的是HiveContext，这个是SQLContext的，不需编译。...
分类：
数据库 时间：
2014-07-13 20:44:21
阅读次数：
330
Google声称内部已经抛弃Map-reduce几年了，并在今年的Google IO大会高调发布Cloud Dataflow系统。本文介绍了在这个新框架下如何进行分布式计算，并与现有基于Hadoop的Twitter Summingbird以及Spark框架进行了对比。
分类：
其他好文 时间：
2014-07-13 20:29:26
阅读次数：
353
1.首先下载微软官方推荐的版本redis-2.8.122.开始配置，首先复制两份redis.conf并且重命名为redis6379.conf redis6380.conf 里面的配置节点相应的更改为port 6379port 63803.开始安装(最笨的方法 cmd命令行)D:\redis-2.8....
前面几章节谈论了企业如何利用大数据帮助企业建立精准营销模型,大家了解了"大数据"\"小数据",那么数据本身的问题解决了,今天我说一下另外一个非常重要的概念,就是"即时性"。可以说大数据最重要的意义之一是解决了营销上的“实时性”问题，在当下手机、平板多屏运作，快速处理用..
分类：
其他好文 时间：
2014-07-13 15:18:57
阅读次数：
183
网上说的天花乱坠，都是抄来抄去，没有一个是经过自己试验，然后才写的周氏一族，整理技术文档，给下一代留点教程......1、服务器系统准备2、安装文件准备2.1源码文件，请上官网，下载，或者用我下面的地址也可以。http://dss.macosforge.org/downloads/DarwinStreamingSrvr6.0..
分类：
Windows程序 时间：
2014-07-13 14:51:31
阅读次数：
1158
