spark jdbc分支源码下载地址 https://github.com/apache/spark/tree/branch-1.0-jdbc编译spark jdbc ./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn --wit.....
分类：
数据库 时间：
2014-07-16 21:04:35
阅读次数：
306
Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建：$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息：export SPARK_DAEMON_JAVA_O...
分类：
其他好文 时间：
2014-07-16 20:27:12
阅读次数：
187
redis目前还是单点, 没有做高可用, 现在数据量越来越多, 如果下游消费不出问题还好, redis里面数据来了就走,但是下游一旦出问题, 分给redis的内存半小时就撑满了.看到redis3.0 beta版本已经提供了集群功能, 但是需要client以集群模式接入, 我们这么多上游用户, 不太可...
分类：
其他好文 时间：
2014-07-16 20:25:36
阅读次数：
180
1、下载地址https://github.com/dmajkic/redis/downloads2、打开一个cmd窗口，使用cd命令切换到指定目录（D:\redis\64bit）运行 redis-server.exe redis.conf 。3、在开一个cmd（D:\redis\64bit） 运行 ...
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark on yarn的实现，1.0.0里面已经是一个stable的版本了，可是1.0.1也出来了，离1.0.0发布才一个月的时间，更新太快了，节奏跟不上啊，这里仍旧是讲1.0.0的代码，所以各位朋友也不要再问我讲的是哪...
分类：
其他好文 时间：
2014-07-13 21:43:15
阅读次数：
381
以前只是知道这个东西，可以解决一些问题，最近自己做一个字符串操作的东东，看了下redis的源码，做个小的总结。struct cl_str_s{ int free; int len; char buf[];}; 代码的意思是，我们定义了一个结构体，它有这么三个属性，作用很明显不详细...
分类：
其他好文 时间：
2014-07-13 09:25:28
阅读次数：
158
从源代码的角度来看一下Spark SQL的核心执行流程吧...
分类：
数据库 时间：
2014-07-12 21:07:32
阅读次数：
299
Java-Jedis操作Redis，基本操作以及 实现对象保存...
分类：
编程语言 时间：
2014-07-12 17:35:23
阅读次数：
285
Redis 是完全开源免费的，遵守BSD协议，先进的key - value持久化产品。它通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。http://www.redi...
分类：
其他好文 时间：
2014-07-12 16:27:26
阅读次数：
163
第一：Redis 是什么？Redis是基于内存、可持久化的日志型、Key-Value数据库高性能存储系统，并提供多种语言的API.第二：出现背景数据结构(Data Structure)需求越来越多, 但memcache中没有, 影响开发效率性能需求, 随着读操作的量的上升需要解决，经历的过程有:数据...
分类：
其他好文 时间：
2014-07-12 13:46:56
阅读次数：
223
