1.聊一聊跳表作者的其人其事
2. 言归正传,跳表简介
3. 跳表数据存储模型
4. 跳表的代码实现分析
5. 论文,代码下载及参考资料
. 聊一聊作者的其人其事
跳表是由William Pugh发明。他在 Communications of the ACM June 1990, 33(6) 668-676 发表了Skip lists: a probabilistic...
分类:
其他好文 时间:
2014-08-08 16:03:46
阅读次数:
189
LockSupport类是Java6(JSR166-JUC)引入的一个类,提供了基本的线程同步原语。LockSupport实际上是调用了Unsafe类里的函数,归结到Unsafe里,只有两个函数:
?
1
2
public
native
void
unpark(Thread jthread);
public...
分类:
编程语言 时间:
2014-08-05 15:52:40
阅读次数:
341
1、LRUCache的实现分析在分析LRUCache前先对LinkedHashMap做些介绍。LinkedHashMap继承于HashMap,它使用了一个双向链表来存储Map中的Entry顺序关系,这种顺序有两种,一种是LRU顺序,一种是插入顺序,这可以由其构造函数public LinkedHash...
分类:
其他好文 时间:
2014-08-05 15:27:59
阅读次数:
472
本文主要介绍了Spark SQL里目前的CLI实现,代码之后肯定会有不少变动,所以我关注的是比较核心的逻辑。主要是对比了Hive CLI的实现方式,比较Spark SQL在哪块地方做了修改,哪些地方与Hive CLI是保持一致的。
基本上Spark SQL在CLI这块的实现很靠近Hive Service项目里的CLI模块,主要类继承体系、执行逻辑差不多都一样。Spark SQL修改的关键逻辑在CLIService内的SessionManager内的OperationManager里,将非元数据查询操作的q...
分类:
数据库 时间:
2014-08-05 00:44:58
阅读次数:
939
收集:各种开源的分布式日志收集系统:Scribe, Flume等等存储可以同时包含各种不同的存储类型,可根据不同的需求增减相应的存储类型:底层存储:能够存储大量的数据,最好具有可扩展性 HDFS S3等等关系存储:MySQL,Postgresql等等键值存储:HBase,Redis等等计算计算能力也...
分类:
其他好文 时间:
2014-07-30 09:48:23
阅读次数:
213
Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.OutOfMemoryError 最近总是被这个错误爆,终于找到了解决方法。 maxOpenFile 默认 5000 , 调到500后错误不在出现。 详见下面j...
分类:
其他好文 时间:
2014-07-30 01:09:53
阅读次数:
247
本日志由系统自动生成。
从7月14日起便按照心想事成的节奏进入了实验室。打酱油。周末又去学活值班,生活的框架还是很不错的。
1、基于Hadoop的Flume,zooKeeper,这些东西算是明白了个大概。
2、第一周大概学习了javascript、jquery、css、ci框架(php)这些基本的东...
分类:
其他好文 时间:
2014-07-30 00:41:42
阅读次数:
279
1、下载 http://www.apache.org/dist/flume/stable/下载最新的tar.gz包即可2、解压tar -zxvf ....3、配置环境变量FLUME_HOME和PATH记得执行source /etc/profile4、添加一个简单的测试案例a、在conf目录下新建一个...
分类:
其他好文 时间:
2014-07-28 15:07:43
阅读次数:
170
Flume简介
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
系统功能
日志收集
Flume最早是Cloud...
分类:
其他好文 时间:
2014-07-28 14:41:13
阅读次数:
491