1、引入 聚焦爬虫：在通用爬虫的基础之上，可以将一张页面中局部指定的数据进行爬取。可以通过数据解析的方式将一张页面中局部的数据进行解析或者提取。 数据解析方式： 正则 bs4 xpath（重点） pyquery 聚焦爬虫编码流程： 指定url 发起请求 获取响应数据 数据解析 持久化存储 2、数据解 ...
分类：
编程语言 时间：
2020-06-17 23:03:38
阅读次数：
74
一、创建爬虫项目 1. 创建爬虫项目 Scrapy startproject myproject (爬虫项目名) 2. myproject项目文件夹中包含： 1. 同名（myproject）文件夹 2. cfg配置文件 （指定项目文件--myproject，指定项目文件的配置文件myspider文件 ...
分类：
其他好文 时间：
2020-06-17 20:27:09
阅读次数：
60
import re, requests, json, os, time from io import BytesIO headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, l ...
分类：
Web程序 时间：
2020-06-16 23:15:52
阅读次数：
91
1、引入 为什么要学习爬虫，学习爬虫能够为我们以后的发展带来那些好处？其实学习爬虫的原因和为我们以后发展带来的好处都是显而易见的 我们都知道，当前我们所处的时代是大数据的时代，在大数据时代，要进行数据分析，首先要有数据源，而学习爬虫，可以让我们获取更多的数据源，并且这些数据源可以按我们的目的进行采集 ...
分类：
编程语言 时间：
2020-06-16 20:40:45
阅读次数：
77
简述：爬取整个网站级别等需求复杂的爬虫，可以使用Scrapy框架。并发性好，速度快。 构成： 5+2结构 1. Engine模块 作用：1. 控制所有模块（2,3,4,5,a,b）之间的数据流 2. 根据条件来触发事件 a. Downloader Middleware(Downloader模块和en ...
分类：
其他好文 时间：
2020-06-16 20:14:06
阅读次数：
56
问题描述：使用selenum爬取苏宁易购时，搜索手机时，在浏览器中右键检查都存在的信息，比如价格等信息，在爬虫中解析页面时解析不到数据 问题分析： 苏宁搜索手机加载页面时使用的是ajax加载的信息 在向下滑动时，也在实时加载信息， 当访问页面时，不会加载全部的信息，随着页面向下滚动，会持续发送aja ...
分类：
编程语言 时间：
2020-06-16 20:04:38
阅读次数：
65
获取连接 一个站点的页面是很多的，一开始不可能全部列举出来，于是如何发现后续的链接，是一个爬虫不可缺少的一部分 获取链接(例子)： page.addTargetRequests(page.getHtml().css("div#news_div").links().regix(".*9$").all( ...
分类：
Web程序 时间：
2020-06-16 18:22:01
阅读次数：
71
WebMagic 一款爬虫框架 WebMagic项目代码分为核心和扩展两部分。 核心部分是一个精简的、模块化的爬虫实现 扩展部分则是包括一些便利的、实用性的功能 架构介绍 WebMagic的结构分为四部分：Downloader、PageProcessor、 Scheduler、Pipeline四大组 ...
分类：
Web程序 时间：
2020-06-16 01:12:12
阅读次数：
93
在猪师的手把手教导下体验了下爬虫， 首先是进入anaconda官网，选择一个版本下载 安装时候，记住要勾选带path的选项。 避免python版本混乱 然后初试request跟re模块的用法，直接import即可， 爬取百度，但是出现乱码 把.text改为.content.decode("utf-8 ...
分类：
其他好文 时间：
2020-06-16 00:49:46
阅读次数：
48
进程间通信 见天写了一段爬虫代码，通过信号量控制进程数量，代码如下： #!/usr/bin/python3 # -*- encoding: utf-8 -*- import requests from bs4 import BeautifulSoup from multiprocessing imp ...
分类：
系统相关 时间：
2020-06-16 00:34:08
阅读次数：
70
