Python获取网页标题 使用Python2.x的 和`lxml BeautifulSoup4`（话说回来，为什么大家都要用BS4呢？一个XPATH不就完了吗） 没有安装过的，用 安装一下 Shell演示： 封装好了的函数： ...
分类：
编程语言 时间：
2019-01-28 10:55:04
阅读次数：
309
孤荷凌寒自学python第八十一天学习爬取图片1 （完整学习过程屏幕记录视频地址在文末） 通过前面十天的学习，我已经基本了解了通过requests模块来与网站服务器进行交互的方法，也知道了BeautifulSoup模块的基本用法。 但之前的学习主要还是获取网页上的文字内容为主，从今天起我开始尝试学习 ...
分类：
编程语言 时间：
2019-01-28 00:52:57
阅读次数：
153
上来先贴地址，刚入门的可以来van啊： 黑板客爬虫闯关 0x00 第一关 打开网址，看到如下页面： 先抱着试试看的心态在网址后面加上数字看看效果： 怕不是个循环，获取网页中的数字不断加到url中，验证猜想，继续试一试： ？？？？？ 那就把原来的数字换掉： 妙啊： 这里基本确定思路，获取网页内的数字， ...
分类：
其他好文 时间：
2019-01-24 22:58:26
阅读次数：
244
想用go练练手（我是win7系统，已从https://studygolang.com/dl 下载了go安装包并安装，比较简单，不详述。 但作为边民，没法go get ,又不敢用梯子，幸亏有爱心大牛们的国内镜像。 1、首先感谢gowalker，gopm 七牛 以及啃、萝卜、萝卜头go语言缔造者 2、因 ...
分类：
Web程序 时间：
2019-01-24 18:48:01
阅读次数：
853
一、概述 简单来说，爬虫就是获取网页并提取和保存信息的自动化程序。 1.获取网页 使用urllib、request可以向网站的服务器发送一个请求，服务器返回的是网页的源代码。 2.提取信息 当我们获取到网页源代码之后，我们需要分析网页源代码，并从中提取我们想要的数据。最通常的办法是使用正则表达式提取 ...
分类：
其他好文 时间：
2019-01-24 01:13:28
阅读次数：
141
UiBot0.7版新增加了【数据抓取】功能，这项功能可以方便获取网页中的相似元素，将相似元素的数据采集到数组中，比如各种电商网站（淘宝、京东、拼多多等）的商品分类、商品列表信息（商品名、价格等），或者网页中的各种列表、表格的数据。本期教学以抓取【京东】网站搜索某个关键字列出的所有商品为例，实现商品列表的数据采集：准备工作目前数据抓取功能仅支持GoogleChrome浏览器，在安装UiBot时，会自
分类：
其他好文 时间：
2019-01-17 14:10:27
阅读次数：
3732
# 使用selenium和phantomJS浏览器获取网页内容的小演示 # 导入包 from selenium import webdriver # 使用selenium库里的webdriver方法调用PhantomJS浏览器实例一个浏览器的操作对象 # 括号里的参数为PhantomJS浏览器在电脑... ...
分类：
Web程序 时间：
2019-01-14 23:12:02
阅读次数：
210
获取网页html代码： 如果不能正常获取说明你还没有安装 requests库，安装requests方法很简单，Windows电脑打开cmd 输入 pip install requests 回车即可，Macos(苹果电脑)打开终端输入 pip install requests 回车即可。 运行结果： ...
分类：
编程语言 时间：
2019-01-03 16:44:20
阅读次数：
504
本文主要实现一个简单的爬虫，目的是从一个百度贴吧页面下载图片。 1. 概述 本文主要实现一个简单的爬虫，目的是从一个百度贴吧页面下载图片。下载图片的步骤如下： 获取网页html文本内容； 分析html中图片的html标签特征，用正则解析出所有的图片url链接列表； 根据图片的url链接列表将图片下载 ...
分类：
编程语言 时间：
2018-12-31 21:53:13
阅读次数：
189
import re import os import urllib #根据给定的网址来获取网页详细信息，得到的html就是网页的源代码 def getHtml(url): page = urllib.request.urlopen(url) html = page.read() return htm... ...
分类：
编程语言 时间：
2018-12-27 11:21:35
阅读次数：
180
