Scrapy框架的介绍 框架官方文档：https://docs.scrapy.org/en/latest/ 安装： pip3 install Scrapy 安装测试： cmd命令行界面，输入：scrapy -h 框架安装完成； scrapy框架： 分为五个模块+两个中间件（5+2结构）： spide ...
分类：
编程语言 时间：
2019-11-14 18:35:44
阅读次数：
103
昨天想要写一下Python爬虫试试，但没想到导入的包并没有安装好。有两个这样的包，requests和bs4，requests是网络请求，bs4是html解析器。 那么接下来就说一下如何安装这两个包 一、用指令安装（pip install ……） 大体上来说就是，打开DOS（命令提示符），进入到你安装 ...
分类：
编程语言 时间：
2019-11-14 15:01:19
阅读次数：
102
编码格式的认识： 字符：各种文字和符号的统称 字符集：多个字符的集合 字符集包括：ASCII字符集，GB2312字符集，GB18030，Unicode字符集等 1个字符ASCII编码占1个字节，用Unicode编码占2个字节 UTF-8是Unicode的实习方式之一，是一种变长的编码方式，可以是1, ...
分类：
编程语言 时间：
2019-11-12 12:55:59
阅读次数：
126
*解析网页数据的仓库 用Beatifulsoup基于lxml包lxml包基于html和xml的标记语言的解析包。可以去解析网页的内容，把我们想要的提取出来。 第一步、导入两个包，项目中必须包含beautifulsoup4和lxml 第二步、先去获取网页的数据 def get_html(): url= ...
分类：
编程语言 时间：
2019-11-11 12:32:15
阅读次数：
123
一、用python爬取一个求职网页的一些信息 网页截图如下： 代码： import requests from bs4 import BeautifulSoup import io import sys sys.stdout=io.TextIOWrapper(sys.stdout.buffer,en ...
分类：
编程语言 时间：
2019-11-11 09:34:50
阅读次数：
91
1. Beautiful Soup的简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的 ...
分类：
编程语言 时间：
2019-11-11 00:08:29
阅读次数：
114
不是数据结构 它没有内部存储，它只是用操作管道从 source（数据结构、数组、generator function、IO channel）抓取数据。 它也绝不修改自己所封装的底层数据结构的数据。例如 Stream 的 filter 操作会产生一个不包含被过滤元素的新 Stream，而不是从 sou ...
分类：
其他好文 时间：
2019-11-08 16:22:45
阅读次数：
100
Python爬虫学习难不难?大家都知道，Python是最容易上手的编程语言，如果具有一定基础的话，学习Python是非常容易的，同时Python适合零基础人员学习，更是初学者的首选。而爬虫是Python的一大应用领域，现在市场Python爬虫工程师需求量高，吸引了不少的学习者，那么学习Python爬虫难不难?何为Python爬虫?
分类：
编程语言 时间：
2019-11-05 18:49:58
阅读次数：
117
Beautiful Soup 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。 1.Beautiful Soup简介 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提 ...
分类：
其他好文 时间：
2019-11-03 20:00:35
阅读次数：
73
前言 前面国庆节的时候写过一个简易的爬虫。 "《Python 简易爬虫实战》" 还没看过的同学可以先看一下，这只爬虫主要用来爬取各个博客平台的阅读量等数据，一直以来都是每天晚上我自己手动在本地电脑运行，中间也有过几次忘记运行了，导致没有当天的统计数据。 当然最好的办法就是把这只爬虫部署在服务器上，让 ...
分类：
编程语言 时间：
2019-11-03 11:16:32
阅读次数：
78
