欢迎转载，转载请注明出处，徽沪一郎，谢谢。在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理...
分类：
其他好文 时间：
2014-07-07 14:36:48
阅读次数：
275
近期在用caffe玩一些数据集，这些数据集是从淘宝爬下来的图片。主要是想研究一下对女性衣服的分类。以下是一些详细的操作流程，这里总结一下。1 爬取数据。写爬虫从淘宝爬取自己须要的数据。2 数据预处理。将图片从jpg，png格式转为leveldb格式。由于caffe的输入层datalayer是从lev...
分类：
其他好文 时间：
2014-07-03 19:23:59
阅读次数：
195
在飞速发展的云计算大数据时代，Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术，目前Spark已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年.....
分类：
其他好文 时间：
2014-07-03 10:43:37
阅读次数：
181
群组设置 点击这里打开窗口数据处理中,请稍等...CloseView Codea.html框架 View Codeb.html群组设置群组设置:小灵通号码查询b.html
分类：
其他好文 时间：
2014-07-03 10:16:18
阅读次数：
251
Nmon监测工具Nmon是一款面向系统管理员的调优和基准测量工具，可以用来显示关于下列方面的性能数据：处理器内存网络磁盘文件系统网络文件系统NFS）消耗资源最多的进程资源Power微分区我非常喜欢这款工具的一个地方是，它完全具有交互性，可以帮助Linux用户或系统管理员最大限度地利用这个必要的命令。...
分类：
其他好文 时间：
2014-07-02 22:59:21
阅读次数：
308
进行抓取页面，我看了一下人家的教程，一般要用到htmlparser用来解析html得到一个网页的相关链接，用httpclient抓取网页数据，下面是一我写的spider类package com.openzone.search.spider;import java.io.BufferedReader;...
分类：
编程语言 时间：
2014-07-01 21:43:29
阅读次数：
261
发现科大网页的源码中还有文章的点击率，何不做一个文章点击率的降序排行。简单，前面入门（1）基本已经完成我们所要的功能了，本篇我们仅仅需要添加：一个通过正则获取文章点击率的数字；再加一个根据该数字的插入排序。ok，大功告成！简单说一下本文插入排序的第一个循环，找到列表中最大的数，放到列表 0 的位置做...
分类：
编程语言 时间：
2014-07-01 14:01:14
阅读次数：
245
有人说大部分python程序员都是通过爬虫入门的或者都是由爬虫喜欢上python的。还有大部分人学爬虫都喜欢拿自己学校的网站练手。我就是基于以上两点开始的。。。ok，开始，首先你需要一点python基础，一点点基础就可以，找一本薄薄的书过一遍，可以上这来找找http://wiki.woodpecke...
分类：
编程语言 时间：
2014-07-01 11:47:07
阅读次数：
316
GFS解决了某些业务场景对分布式文件系统需求，很自然的，也有某些业务仅仅靠文件系统用起来还是不那么方便，它们需要分布式数据库系统。BigTable就是Google为了解决内部对大规模结构化数据处理的需求而产生的。论文摘要涉及的“关键”字为：
1. 结构化数据
2. 数据量大
3. 典型应用：Web索引，Google Earth，Google Finance
4. 批处理和实时需求
5. ...
分类：
其他好文 时间：
2014-06-30 16:58:28
阅读次数：
200
在jquery mobile开发中，经常需要调用ajax方法，异步获取数据，如果异步获取数据方法由于网速等等的原因，会有一个反应时间，如果能在点击按钮后数据处理期间，给一个正在加载的提示，客户体验会更好一些。先看两个方法，显示和关闭，方法来自于参考：http://blog.csdn.net/zht6...
分类：
Web程序 时间：
2014-06-30 15:12:48
阅读次数：
209
