在流数据的处理过程中,为了保证处理结果的可信度(不能多算,也不能漏算),需要做到对所有的输入数据有且仅有一次处理。在Spark
Streaming的处理机制中,不能多算,比较容易理解。那么它又是如何作到即使数据处理结点被重启,在重启之后这些数据也会被再次处理呢?
分类:
其他好文 时间:
2014-05-06 00:58:21
阅读次数:
465
今天有一同学在群上聊到一个比较好玩的题目(本人看书不多,后面才知是《C++模板元编程》第二章里面的一道习题),
我也抱着试一试的态度去完成它, 这道题也体现了c++模板元编程的基础和精髓: 类型就是数据。题目如下所述:Write a ternary
metafunctionreplace_typet...
分类:
其他好文 时间:
2014-05-06 00:27:15
阅读次数:
333
1. 熟知主流硬件体系(x86, x64)2. 熟知 CPython
的具体实现,如若可能至少通读源码三遍以上3. 熟知每条 Python bytecode 如何被解释执行4. 熟知每条 Python 语句如何 compile 成
bytecode5. 熟知 Python 主要数据结构所采用的优化手...
分类:
其他好文 时间:
2014-05-06 00:18:16
阅读次数:
306
在上一章中提到了编码压缩,讲了一个简单的DataBlockEncoding.PREFIX算法,它用的是前序编码压缩的算法,它搜索到时候,是全扫描的方式搜索的,如此一来,搜索效率实在是不敢恭维,所以在hbase当中单独拿了一个工程出来实现了Trie的数据结果,既达到了压缩编码的效果,亦达到了方便查询的...
分类:
其他好文 时间:
2014-05-05 23:30:15
阅读次数:
434
最近看tomcat源码,这类接口多的有点眩,整理出来看一下。(基于tomcat4)javax.servlet.ServletRequset接口,和org.apache.catalina.Request接口,有什么联系?其实就是对Request不同层面上的定义。一、首先看下javax.servlet....
分类:
其他好文 时间:
2014-05-05 22:53:53
阅读次数:
457
安装环境系统环境:CentOS
6.5-x86_64所需软件包:apr-1.5.0.tar.bz2apr-util-1.5.3.tar.bz2httpd-2.4.9.tar.bz2下载地址:http://apr.apache.org/http://httpd.apache.org/安装步骤注:htt...
分类:
其他好文 时间:
2014-05-05 22:02:02
阅读次数:
346
因为python版本需求,通过下载python2.7.6源码包,编译安装了python2.7版本。安装完该版本后,发现ibus输入法虽然可以激活使用,但是不显示控制面板,无法更改设置,连候选词条框都没有,使用几乎瘫痪。由于ibus依赖了一些python模块,所以推测是python版本的问题。1.尝试打开..
分类:
编程语言 时间:
2014-05-03 01:19:13
阅读次数:
486
下载lua源码包,进入到根目录下1、执行makemacosx2、然后再sudomakeinstall即可
分类:
其他好文 时间:
2014-05-02 08:16:40
阅读次数:
246
搜索了蛮久,找到一些例子,因为我是初学者的缘故大多不知道怎么使用。。
研究了一下那个源码,搞到现在终于实现了基本的下载。。解决了一个表格不能重复下载的小BUG,一个使用grid初始化发生的BUG
下面记录一下步骤。。说不定下次还有用
1.下载需要用到js代码,我已经上传
http://download.csdn.net/detail/hu8471479/72...
分类:
Web程序 时间:
2014-05-02 05:23:25
阅读次数:
393
一、FastCgi与PHP-fpm参考:http://www.mike.org.cn/articles/what-is-cgi-fastcgi-php-fpm-spawn-fcgi/二、LAMP分离架构资源规划:静态层:172.16.1.1,httpd服务器动态层:172.16.1.2,PHP服务器,启动php-fpm数据层:172.16.1.3,mysql服务器,lvm三、数据库服务器搭建略,参..
分类:
其他好文 时间:
2014-05-02 03:58:49
阅读次数:
397