想用go练练手（我是win7系统，已从https://studygolang.com/dl 下载了go安装包并安装，比较简单，不详述。 但作为边民，没法go get ,又不敢用梯子，幸亏有爱心大牛们的国内镜像。 1、首先感谢gowalker，gopm 七牛 以及啃、萝卜、萝卜头go语言缔造者 2、因 ...
分类：
Web程序 时间：
2019-01-24 18:48:01
阅读次数：
853
# 使用selenium和phantomJS浏览器获取网页内容的小演示 # 导入包 from selenium import webdriver # 使用selenium库里的webdriver方法调用PhantomJS浏览器实例一个浏览器的操作对象 # 括号里的参数为PhantomJS浏览器在电脑... ...
分类：
Web程序 时间：
2019-01-14 23:12:02
阅读次数：
210
要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。 爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或 ...
分类：
其他好文 时间：
2018-11-30 11:32:08
阅读次数：
197
最近项目需求，做一些新闻站点的爬取工作。1.简单的jsoup爬取，静态页面形式； 通过jsop解析返回Document 使用标签选择器，选择页面标签中的值，即可获取页面内容。 2.延时加载，有些网站存在延时加载，表格内容，或者嵌入页面形式的加载的页面；属于jsop范围 获取到的是Document 使 ...
分类：
编程语言 时间：
2018-11-23 14:24:01
阅读次数：
193
1.Python 爬虫介绍 一、什么是爬虫 爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。 二、Python爬虫架构 Python 爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。 调度器：相当于一台电脑的CPU ...
分类：
编程语言 时间：
2018-11-11 18:00:02
阅读次数：
159
1.什么是爬虫？请求网站并提取数据的自动化程序（让程序替你去上网） 2.爬虫的基本流程（1）向服务器发起请求（2）获取网页内容（3）解析内容（4）保存数据 3.什么是request和response请求与响应：浏览器与服务器（也是一台计算机）之间的交流。 4.request中包含了什么？（1）请求方 ...
分类：
其他好文 时间：
2018-08-25 19:58:12
阅读次数：
198
一、什么是Selenium? 答：自动化测试工具，支持多种浏览器。用来驱动浏览器，发出指令让浏览器做出各种动作，如下拉，跳转等。 爬虫中主要用来解决JavaScript渲染的问题。 注：如果用requests,urllib这些库无法正常获取网页内容，可以用Selenium来完成渲染 二、安装 三、基 ...
分类：
编程语言 时间：
2018-08-03 00:57:13
阅读次数：
134
https://www.cnblogs.com/CHEUNGKAMING/p/5717429.html ...
分类：
Web程序 时间：
2018-08-02 16:57:13
阅读次数：
179
var bodyParser = require('body-parser'); var urlencodedParser = bodyParser.urlencoded({ extended: false }); 路由中使用 router.post('/', urlencodedParser, f ...
分类：
Web程序 时间：
2018-07-20 23:03:46
阅读次数：
521
1 import json 2 import re 3 from urllib.request import urlopen # urllib用法：https://www.jb51.net/article/65279.htm 4 5 # 思路：通过url获取网页内容--》匹配需要内容---》拿到内容... ...
分类：
编程语言 时间：
2018-07-13 20:47:30
阅读次数：
138
