讨论了glusterfs对文件系统爬虫rsync/ls目录性能的现有优化措施和可能的进一步优化方案。优化思路是减少本地文件系统的元数据操作,减少fuse client的负载,减少req的网络轮询次数,减少一次网络通信时间,缓存预抓取,并发,异步,bulk 传输。...
分类:
其他好文 时间:
2014-05-05 13:24:35
阅读次数:
536
从WordCount开始分析
编写一个例子程序
编写一个从HDFS中读取并计算wordcount的例子程序:
packageorg.apache.spark.examples
importorg.apache.spark.SparkContext
importorg.apache.spark.SparkContext._
objectWordCount{
defm...
分类:
其他好文 时间:
2014-05-05 13:10:34
阅读次数:
463
文件存储的用途:
A File object is suited to reading or writing large amounts of data in start-to-finish order without skipping around. For example, it's good for image files or anything exchanged over a netw...
分类:
移动开发 时间:
2014-05-05 13:01:21
阅读次数:
339
用例图(Use Case Diagram)是由软件需求分析到最终实现的第一步,说明的是谁要使用系统,以及他们使用该系统可以做些什么,是九种图里面最为基础且非常重要的一张图。
用例图包括3方面内容:
1.参与者(Actor);
2.用例(Use Case);
3.参与者、用例之间的关系:关联关系、泛化关系、包含关系、扩展关系等;
参与者(Ac...
分类:
其他好文 时间:
2014-05-05 12:55:03
阅读次数:
326
在发布或重启某线上某服务时常常会遇到抖动,具体表现为load和响应时间突然飙高。针对此问题作者通过抓栈分析目前响应时间过高的原因,并给出了解决思路,以及相应的实验结果。...
分类:
其他好文 时间:
2014-05-04 12:45:09
阅读次数:
260
股票F10关键字过滤工具 是一款专门通过分析离线的F10文件,来发现潜力牛股的工具。主要功能包括,输入任意关键字,过滤最新消息,八面来风,信息快讯等内容。输入股东名称,过滤该股东持有的所有沪深A股股票,十大流通股东持股占比变化,财务指标过滤选股等等。功能非常强大。...
分类:
其他好文 时间:
2014-05-03 17:43:10
阅读次数:
271
近日浏览csdn博客,发先一本自编的分享自编《Python基础教程》无水印文字版,推荐读之,内容朴实无华无拖泥带水,板式清晰,是python入门和初学者必藏教程。
下载地址
http://download.csdn.net/detail/u014036026/7188403...
分类:
编程语言 时间:
2014-05-03 17:06:16
阅读次数:
407
[ 需求分析 ]
在我们实际开发中常常会遇到这样的问题:记录一个类的方法运行时间,以分析性能。一般我们的做法是先在类的开始记录一个开始时间,然后在类的结束记录一个结束时间,二者相减就可以获取我们想要的结果。但是很多时候这些类已经打了jar包,我们无法直接修改源码,这个时候我们应该怎么办呢?...
分类:
其他好文 时间:
2014-05-03 15:54:47
阅读次数:
377
关键路径法(Critical Path Method, CPM)是一种基于数学计算的项目计划管理方法,是网络图计划方法的一种,属于肯定型的网络图。关键路径法将项目分解成为多个独立的活动并确定每个活动的工期,然后用逻辑关系(结束-开始、结束-结束、开始-开始和开始结束)将活动连接,从而能够计算项目的工期、各个活动时间特点(最早最晚时间、时差)等。在关键路径法的活动上加载资源后,还能够对项目的资源需求和分配进行分析。关键路径法是现代项目管理中最重要的一种分析工具。...
分类:
其他好文 时间:
2014-05-03 15:54:00
阅读次数:
488
BeautifulSoup 善于网页数据分析
请参考: http://www.crummy.com/software/BeautifulSoup
例如: 抓取CSDN首页极客头条内容 soup.py
import urllib2, re
from BeautifulSoup import BeautifulSoup
page = urllib2.urlopen("http://gee...
分类:
编程语言 时间:
2014-05-03 15:31:42
阅读次数:
401