问题：列表页预计抽取 355+6 但实际只抽取到220条链接. 原因是nutch对http下载的内容的长度进行了限制。解决方案：这里将这个属性扩大10倍。vim conf/nutch-defalut.xml 修改http.content.limit属性，将其由65536 改为 655360 ht.....
分类：
其他好文 时间：
2014-09-01 13:50:33
阅读次数：
171
Rename(重命名):对标示符进行重命名,以获得更好的代码可读性,这些标示符包括类,方法或者函数的名称.
Extract(抽取):将你在XCode种选择的代码抽取到一个新的方法或函数中.
Create SuperClass(创建父类):为Xcode中当前所选的类定义父类
Move Up(上移):将所选择的方法,属性,或实例变量从一个类移至其父类,子类和父类均在项目中有定义
Move Do...
分类：
其他好文 时间：
2014-08-31 23:02:52
阅读次数：
296
HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件，本身并不包含爬虫功能，但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。 ? HtmlExtractor是为大规模分布式环境设计的，采...
分类：
编程语言 时间：
2014-08-31 00:35:00
阅读次数：
228
【版权声明：转载请保留出处：blog.csdn.net/gentleliu。Mail：shallnew at 163 dot com】
cut命令类似于awk，从行里面抽取信息，是一个功能弱化版的awk。
cut命令格式为：cut [options] filename
其中options有：
-d 指定与空格和t a b键不同的域分隔符。类似于awk的“-F”。
-f field...
分类：
其他好文 时间：
2014-08-30 09:59:59
阅读次数：
266
鉴于有几位同学在问如何批量转化cds为pep序列，那么本人就把自己的一段代码从另一个脚本中抽取出来。故意写成两个子函数是方面单独使用，比如输入序列不是单纯的fasta格式而是phy格式的，可以对cds2pep函数做一下调整，code子函数则无需改动。
这段代码要求的输入文件格式是fasta。
用法：perl cds2pep.pl input.cds.fa out.pep.fa
#!...
分类：
其他好文 时间：
2014-08-30 08:49:19
阅读次数：
243
CDC的全称是Change Data Capture，主要用在数据仓库中，对原数据库的数据进行抽取、传输到数据仓库中，用于进行分析和统计。CDC有同步模式和异步模式： 1. CDC同步模式： 通过trigger来实现。 2. CDC异步模式： ...
分类：
其他好文 时间：
2014-08-29 16:27:48
阅读次数：
262
1.?????CDC简介 1.1.????????CDC是一种数据增量处理技术 ???在构建数据仓库系统的ETL过程中,增量数据的抽取是一个非常关键的环节.对解决方案一般有两点要求: l??准确性,能够将业务系统中的数据...
分类：
数据库 时间：
2014-08-29 14:47:38
阅读次数：
389
最近开始折腾数据，起源是多业务数据源需要转换到数据分析平台。这个过程需要跨机器，跨库。同时还需要将业务数据表的内容进行转换，合并，清洗等等操作。经过多方选型，最终决定使用kettle来作为数据抽取处理的工具。但是，在这里，是想吐槽下kettle这东西的问题。1.kettle的版本使用的是5.1，搭建...
分类：
其他好文 时间：
2014-08-28 17:47:45
阅读次数：
308
用原型实例指定创建对象的种类，并且通过拷贝这些原型创建新的对象。这个其实和C++的拷贝构造函数的作用是一致的，实际上就是动态抽取当前对象运行时的状态。 原型模式适用于： 当一个系统应该独立于他的产品创建...
分类：
其他好文 时间：
2014-08-28 16:21:50
阅读次数：
179
