一、环境搭建 Scrapy是一个比较好的爬虫框架，本次，我们学习一下，使用Scrapy框架来创建一个爬虫项目，并通过一个简单的例子演示一下。 第一步：安装依赖。首先先保证已经安装了python，pip。然后使用pip进行一下依赖的安装，顺序为： 1、wheel 2、 lxml 3、PyOpenssl ...
分类：
其他好文 时间：
2018-07-03 20:14:56
阅读次数：
243
Beautiifulsoup Beautiful Soup 是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、Python标准库中的HTML解析器，也支持 lxml 的 ...
分类：
编程语言 时间：
2018-07-03 00:17:57
阅读次数：
1155
BeautifuSoup和Pyquery解析库方法比较 1.对象初始化： BeautifySoup库： 1 from bs4 import BeautifulSoup 2 3 html = 'html string......' 4 soup = BeautifulSoup(html, 'lxml' ...
分类：
编程语言 时间：
2018-07-02 13:05:00
阅读次数：
339
使用Beautiful Soup Beautiful Soup在解析时实际上依赖解析器，它除了支持Python标准库中的HTML解析器外，还支持一些第三方解析器（比如lxml）。 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup, "html.parser" ...
分类：
其他好文 时间：
2018-07-01 10:28:45
阅读次数：
198
requests html 是基于现有的框架 PyQuery、Requests、lxml、beautifulsoup4等库进行了二次封装，作者将Requests设计的简单强大的优点带到了该项目中。 GiHub项目地址： "https://github.com/kennethreitz/request ...
分类：
编程语言 时间：
2018-06-30 22:57:17
阅读次数：
171
1、 pip3 list --outdated >> requests 现将要更新的列表写入requests 2、对文件中的数据进行处理 Package Version Latest Type asn1crypto 0.22.0 0.24.0 wheel attrs 17.2.0 18.1.0 wh ...
分类：
其他好文 时间：
2018-06-27 21:07:39
阅读次数：
451
1 import requests 2 from lxml import etree 3 from bs4 import BeautifulSoup 4 import os 5 from selenium import webdriver 6 7 8 9 #解析每个漫画分页并下载漫画 10 def ...
分类：
编程语言 时间：
2018-06-26 01:08:01
阅读次数：
188
在 CentOS6 上安装 GraphicsMagick-1.3.30 1、简介： 1.1、在介绍 GraphicsMagick 前我们不得不先介绍下 ImageMagick： ImageMagick是一个免费的创建、编辑、合成图片的软件。它可以读取、转换、写入多种格式的图片。图片切割、颜色替换、各... ...
分类：
其他好文 时间：
2018-06-24 16:56:11
阅读次数：
288
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高 XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索 XPath的选择功 ...
分类：
编程语言 时间：
2018-06-23 10:07:54
阅读次数：
201
from lxml import etree import codecs import sys from lxml import etree def parser(p): tree = etree.HTML(open(str(p)+'.html', 'r').read()) nodes = tree... ...
分类：
编程语言 时间：
2018-06-20 18:46:05
阅读次数：
128
