码迷,mamicode.com
首页 >  
搜索关键字:爬虫    ( 10452个结果
Ioc容器Autofac系列(1)-- 初窥(转)
前言第一次接触Autofac是因为CMS系统--Orchard,后来在一个开源爬虫系统--NCrawler中也碰到过,随着深入了解,我越发觉得Ioc容器是Web开发中必不可少的利器。那么,Ioc容器是用来做什么的?用了有什么好处?我相信如果不明白这两点就很难敞开心扉接受Ioc容器。传统解耦设计的弊端...
分类:其他好文   时间:2014-05-16 22:34:11    阅读次数:361
Spider with R
简单爬虫R实现1、广度优先搜索策略网页的结构通常是一个页面包含正文和多个链接,这些链接大部分是域内链接,但也含有域外链接。通过对这些链接进行遍历,一层一层地搜索就可以搜索到所有页面。如图,网页结构已经很好的显示了一种图的层次结构。在这种图的结构中,简单地实现遍历,我们就可以采用两种遍历方式,广度优先...
分类:其他好文   时间:2014-05-16 21:08:33    阅读次数:339
【python爬虫】根据查询词爬取网站返回结果
最近在做语义方面的问题,需要反义词。就在网上找反义词大全之类的,但是大多不全,没有我想要的。然后就找相关的网站,发现了http://fanyici.xpcha.com/5f7x868lizu.html,还行能把“老师”-“学生”,“医生”-“病人”这样对立关系的反义词查出来。一开始我想把网站中数据库...
分类:编程语言   时间:2014-05-16 08:10:36    阅读次数:465
Google去抓取同一文件的流量就超过了700Mbps。DDOS爬虫攻击
只需要使用一台笔记本,打开几个web标签页,仅仅拷贝一些指向10MB文件的链接,Google去抓取同一文件的流量就超过了700Mbps。Google的FeedFetcher爬虫会将spreadsheet的=image(“link”)中的任意链接缓存。如果我们将=image(“http://examp...
分类:其他好文   时间:2014-05-16 06:43:25    阅读次数:461
Python爬虫抓取网页图片
本文通过python 来实现这样一个简单的爬虫功能,把我们想要的图片爬取到本地。...
分类:编程语言   时间:2014-05-15 15:09:46    阅读次数:450
python3自动爬笑话
学校的服务器可以上外网了,所以打算写一个自动爬取笑话并发到bbs的东西,从网上搜了一个笑话网站,感觉大部分还不太冷,html结构如下:         可以看到,笑话的链接列表都在里面,用正则表达式可以把最近的几个笑话地址找出来,再进到一个笑话页面看下:         每一个笑话页面里面是有多个小笑话组成的,全部在标签下,每个小笑话又单独一个包裹,这样非常容易...
分类:编程语言   时间:2014-05-15 11:18:58    阅读次数:362
【从零之六&完结】android口语对话系统(含全部源码)
做了一个半月终于完成了,下面这个就是我参考Olympus/RavenClaw系统编写的对话管理系统,目前实现了一个简单的航班查询,部分截图 目前能实现的功能: 1.航班查询,具体的航班信息是我自己编的,下一步可以写个爬虫把真实的数据爬下来。编的数据放到了res/raw/flightinfo.txt中。航班查询就设定了三个要素,时间,起始地和目的地,想更全面的话可以增加任...
分类:移动开发   时间:2014-05-11 05:49:02    阅读次数:410
Python爬虫示例
1 #!/usr/bin/python 2 #coding:utf8 3 import re 4 import urllib 5 6 def gethtml(url): 7 page=urllib.urlopen(url) 8 html=page.read() 9 ret...
分类:编程语言   时间:2014-05-10 18:39:47    阅读次数:399
【课程分享】基于Lucene4.6+Solr4.6+Heritrix1.14+S2SH实战开发从无到有垂直搜索引擎
对这个课程有兴趣的朋友,可以加我的QQ2059055336和我联系,可以和您分享。  课程介绍:最有前途的软件开发技术——搜索引擎技术  搜索引擎作为互联网发展中至关重要的一种应用,已经成为互联网各个领域的制高点,其重要性不言而喻。搜索引擎领域也是互联网应用中不多见的以核心技术作为其命脉的领域,搜索引擎各个子系统是如何设计的?这成为广大技术人员和搜索引擎优化人员密切关注的内容。  随着互...
分类:其他好文   时间:2014-05-09 15:24:17    阅读次数:322
python列表里__setslices__方法函数解析a
先看看列表里的__setslice__方法函数的帮助文档 help(list.__setslice__)      帮助文档如下所示: __setslice__(...) x.__setslice__(i, j, y) x[i:j]=y Use of negative indices is not supported.      从帮助文档可以看出这个方法函数可...
分类:编程语言   时间:2014-05-09 01:01:56    阅读次数:326
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!