Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单，可以用来开发一些采集程序和小偷程序，本文章详细介绍snoopy的使用教程。
Snoopy的一些特点:
抓取网页的内容 fetch
抓取网页的文本内容 (去除HTML标签) fetchtext
抓取网页的链接，表单 fetchlinks fetchform
支持代理主机
支持基本的用户名/密码验证
支持设置...
分类：
Web程序 时间：
2016-07-13 06:57:00
阅读次数：
206
官方有详细的使用文档：http://webmagic.io/docs/zh/ 简介：这只是个java爬虫框架，具体使用需要个人去定制，没有图片验证，不能获取js渲染的网页，但简单易用，可以通过xpath和css选择符获取网页内容，官方也有超详细的文档，适合爬取简单的网页和新手学习爬虫。图片验证和js ...
分类：
Web程序 时间：
2016-07-09 22:08:35
阅读次数：
183
要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。 爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或
分类：
其他好文 时间：
2016-02-17 09:29:30
阅读次数：
308
一，爬虫及Robots协议 爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。robots.txt是一个文本文件，robots是一个协议，而不是一个命令。robots.txt是爬虫要查看的第一个文件。robots.txt文件告诉爬虫在服
分类：
Web程序 时间：
2016-02-09 01:21:26
阅读次数：
238
一，爬虫及Robots协议 爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 robots.txt是一个文本文件，robots是一个协议，而不是一个命令。robots.txt是爬虫要查看的第一个文件。robots.txt文件告诉爬虫在服务器上什么文件是可以被查看的，搜索机器人就会按照该文...
分类：
Web程序 时间：
2016-02-08 21:26:23
阅读次数：
410
同学突然有个蛋疼的需求，抓取以下界面的数据至数据库，我因为很闲，更加蛋疼的自告奋勇帮忙完成。http://www.shmet.com/Template/_Template.html?viewName=_HomeSpotPrice&metalid=10133%2C10131%2C10132%2C100...
分类：
数据库 时间：
2016-01-21 19:42:02
阅读次数：
282
NodeJS爬虫系统 NodeJS爬虫系统0. 概论爬虫是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上是针对爬虫而做出的优化。 robots.txt是一个文本文件，robots....
分类：
Web程序 时间：
2015-12-21 21:41:41
阅读次数：
240
nodejs获取网页内容绑定data事件，获取到的数据会分几次相应，如果想全局内容匹配，需要等待请求结束，在end结束事件里把累积起来的全局数据进行操作！举个例子，比如要在页面中找有没有www.baidu.com，不多说了，直接放代码：//引入模块var http = require("http")...
分类：
Web程序 时间：
2015-11-16 15:35:25
阅读次数：
151
36大数据专稿，本文由36大数据收集整理，转载必须标明来源36大数据且附上本文连接。http://www.36dsj.com/archives/34383要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜...
分类：
其他好文 时间：
2015-10-30 07:05:14
阅读次数：
302
抓取到的内容在通过正则表达式做一下过滤就得到了你想要的内容，至于如何用正则表达式过滤，在这里就不做介绍了，有兴趣的，以下就是几种常用的用php抓取网页中的内容的方法。1.file_get_contents 2.curl 3.fopen->fread->fclose
分类：
Web程序 时间：
2015-10-23 18:22:04
阅读次数：
224
