转自：http://my.oschina.net/caroltc/blog/324024摘要各种有用的PHP开源库精心收集,包含图片处理，pdf生成，网络协议，网络请求，全文索引，高性能搜索，爬虫等等，项目肯定用得上的PHPPHP开源库目录[-]Swoole：重新定义PHP1.html2ps and...
分类：
Web程序 时间：
2014-10-05 14:07:28
阅读次数：
363
爬虫最基本的部分是要将网页下载，而最重要的部分是过滤 -- 获取我们需要的信息。 而scrapy正好提供了这个功能： 首先我们要定义items： Itemsare containers that will be loaded with the scraped data; they ...
分类：
其他好文 时间：
2014-10-05 01:04:07
阅读次数：
341
前面一直强调Python运用到网络爬虫方面非常有效,这篇文章也是结合学习的Python视频知识及我研究生数据挖掘方向的知识.从而简单介绍下Python是如何爬去网络数据的,文章知识非常简单,但是也分享给大家,就当简单入门吧!同时只分享知识,希望大家不要去做破坏网络的知识或侵犯别人的原创型文章.主要介绍了如何手动爬取新浪播客和CSDN博客的思想和方法.如果有错误或不足之处,请海涵!...
分类：
编程语言 时间：
2014-10-04 17:57:27
阅读次数：
266
??
对从网络上抓取到的网页进行处理：建立网络库，分词，去重，if-tdf计算权重，归一化，然后根据查询词将文本相似度从高到低的依次返回给客户
第一阶段：python网络爬虫抓取网页，并存盘
第二阶段：对磁盘上的网页文件建立网页库，将全部网页写入网页库，并建立相应网页的偏移量索引文件(1 23 100)-->(dofid, offset, size)，以便读取网页内容
...
分类：
其他好文 时间：
2014-10-04 16:33:27
阅读次数：
269
一.第一步是创建一个scrapy项目sh-3.2# scrapy startproject liuyifeiImagesh-3.2# chmod -R 777 liuyifeiImage/二.分析图片特征1.解决分页url部分：我们爬虫的start_url是"http://movie.douban....
分类：
其他好文 时间：
2014-10-04 16:10:56
阅读次数：
461
人物介绍姓名：DougCutting个人名望：开发出开源全文检索引擎工具包Lucene。个人简介/主要荣誉：除了 Lucene，还开发了著名的网络爬虫工具 Nutch，分布式系统基础架构Hadoop，这些大师级作品都是开源的。目前任职 Apache 软件基金会主席。网络上对 Doug Cutting...
分类：
其他好文 时间：
2014-10-03 13:28:14
阅读次数：
368
Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结取结构化的数据。 --from wiki 说白了就是基于python的爬虫框架。 安装： ubuntu 14.04 python2.7（python3不支持...
分类：
其他好文 时间：
2014-10-02 14:32:53
阅读次数：
141
要在centos下安装一个python的爬虫框架scrapy，可是一直遇到lxml无法安装，报错为 error:?command?‘gcc‘?failed?with?exit?status?1 查找资料后在Stack Overflow找到解决方法 sudo?yum?install?-y?gcc...
分类：
其他好文 时间：
2014-10-02 13:58:33
阅读次数：
175
#! /usr/bin/env python#coding=utf-8# by chuxing 2014/10/1# qq:121866673from os.path import dirname, abspathfrom extract import extract,extract_allimpo...
分类：
编程语言 时间：
2014-10-01 21:46:21
阅读次数：
273
本想抓取网易摄影上的图，但发现查看html源代码时找不到图片的url，但firebug却能定位得到。(不知道为什么？？？)目标是抓取前50页的爆乳图，代码如下：import urllib2,urllib,re,os'''http://www.dbmeizi.com/category/2?p=%'''...
分类：
数据库 时间：
2014-10-01 21:26:21
阅读次数：
312
