设置鼠标指针放在一个元素边界范围内时所用的光标形状，需要对元素的css属性cursor进行设置。 cursor属性可能的值： default 默认光标（通常是一个箭头） auto 默认。浏览器设置的（user agent stylesheet）光标。 crosshair 光标呈现为十字。 point ...
分类：
Web程序 时间：
2019-02-01 15:57:57
阅读次数：
258
今天主要是说说工作中遇到的：1.各类反爬虫2.一些小技巧3.我自己常用的爬虫框架4.分享搭建一个简单的代理池好了，进入正题。喜欢python+qun：839383765可以获取Python各类免费最新入门学习资料！首先是各类反爬虫和小技巧，我穿插着讲，好的，容我想想列一个表。1.刚开始写脚本的时候经常忘记带requestheaders，特别是host和user-agent这俩个字段（通常带这两个就
分类：
编程语言 时间：
2019-02-01 12:16:48
阅读次数：
324
根据 IP 限制访问： 根据正则限制访问： 根据 user_agent 限制访问： ...
分类：
其他好文 时间：
2019-01-29 18:01:08
阅读次数：
229
import requests import time import re import json import pandas as pd headers= {'user-agent': 'mobile'} def douyin_Spyder(id,url2): data=requests.get(... ...
分类：
其他好文 时间：
2019-01-28 12:13:17
阅读次数：
468
原文地址https://www.cnblogs.com/zhaof/p/7345856.html 总架构理解Middleware 通过scrapy官网最新的架构图来理解： 这个图较之前的图顺序更加清晰，从图中我们可以看出，在spiders和ENGINE提及ENGINE和DOWNLOADER之间都可以 ...
分类：
编程语言 时间：
2019-01-27 10:52:14
阅读次数：
156
# coding:utf-8import requests# 请求头headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0" }s = requests. ...
分类：
其他好文 时间：
2019-01-22 16:27:33
阅读次数：
207
Robots协议 指定一个robots.txt文件,告诉爬虫引擎怎么爬取 https://www.taobao.com/robots.txt 其他爬虫,不允许爬取 User-Agent: * DisalloW: / 这是一个君子协定,'爬亦有道' 这个协议为了让搜索引擎更有效搜索自己的内容 ...
分类：
其他好文 时间：
2019-01-21 21:07:24
阅读次数：
161
用python爬取知乎的热榜，获取标题和链接。 环境和方法：ubantu16.04、python3、requests、xpath 1.用浏览器打开知乎，并登录 2.获取cookie和User—Agent 3.上代码 4.爬取结果 ...
分类：
编程语言 时间：
2019-01-21 12:17:50
阅读次数：
432
爬虫 1.基础知识：网站基本原理，html,python,多进程/多线程/协程等（必学） 2.HTML基础、网络请求模块：requests(必学)，urllib(可以了解) 3.需要了解一些常见的反爬策略以及对应的解决方案：常见的有IP频率限制，User-Agent、Referer、Origen验证 ...
分类：
编程语言 时间：
2019-01-20 18:49:04
阅读次数：
180
两个随机User-Agent库pipinstallfake_useragent#安装库fromfake_useragentimportUserAgentua=UserAgent()ua.randompipinstallfaker#安装库fromfakerimportFakerua=Faker()ua.user_agent()
分类：
其他好文 时间：
2019-01-20 12:00:59
阅读次数：
314
