写了个爬取知乎热榜的爬虫,将热榜信息存成json格式保存在当前目录下,根据爬取时间存取 需要cookie换成自己的应该就能用了 爬取的内容有Rank:当前热榜排名 Title:问题名称 Hot:当前问题热度 Url:问题链接 Tags:问题的tags(点进问题之后可以看到) # coding:utf ...
分类:
其他好文 时间:
2021-06-02 10:33:20
阅读次数:
0
1. 代码如下: ($是命令行提示符) $ #目录结构 $ tree . ├── a.py └── impt.py 0 directories, 2 files # impt.py import sys import importlib from importlib.util import Lazy ...
分类:
编程语言 时间:
2021-05-25 18:05:28
阅读次数:
0
1 #!/usr/bin/python3 2 #coding=utf-8 3 4 import sys 5 import os 6 import re 7 8 def renamefile(name1,name2): 9 os.rename(name1,name2) 10 11 def checkf ...
分类:
编程语言 时间:
2021-05-25 17:42:30
阅读次数:
0
在爬取某网站时,我们习惯于直接在浏览器里复制headers和请求参数,粘贴到自己的代码里进行调试
但是,在爬取linkg网站时,发现了一个问题:
解码失败
运行: ...
分类:
编程语言 时间:
2021-05-24 17:15:57
阅读次数:
0
import requests from requests import request import json from collections import OrderedDict url = 'https://zabbix-xn.test.bestpay.net/api_jsonrpc.php ...
https://cloud.google.com/storage/docs/gsutil_install#deb yum install google-cloud-sdk yum install gcc python3-devel python3-setuptools redhat-rpm-conf ...
分类:
其他好文 时间:
2021-05-24 16:44:17
阅读次数:
0
背景:虽然linux有自带python2.7 但是很多时候需要用到python3,故需要在linux上重新安装python3,由于python3的版本太高,由于出现一些问题,故尽量安装python3.6版 以下详细介绍以下python3.6.1的安装过程。 1.下载安装包,可以直接wget http ...
分类:
编程语言 时间:
2021-05-24 16:32:17
阅读次数:
0
还记得那些年一起网吧开黑通宵的日子吗?《英雄联盟》绝对是大学时期的风靡游戏,即使毕业多年的大学同学相聚,难免不怀念一番当时一起玩《英雄联盟》的日子。 今天就给大家分享一下英雄及皮肤图片的爬虫。 一开始都是先去《英雄联盟》官网找到英雄及皮肤图片的网址: URL = r'https://lol.qq.c ...
分类:
编程语言 时间:
2021-05-24 14:37:29
阅读次数:
0
比较运算符: == != < > <= >= 逻辑运算符 或与非 or and not x or y : x为true,则不计算y的值,直接返回ture x为false,则返回y的值 x and y: x为ture,则返回y的值, x为false,则不计算y,直接返回false x not y: x ...
分类:
编程语言 时间:
2021-05-24 12:45:55
阅读次数:
0
一、目标网址 http://wz.sun0769.com/political/index/politicsNewest 二、scrapy创建项目 scrapy startproject SunPro cd SunPro scrapy genspider -t crawl sun www.xxx.co ...
分类:
其他好文 时间:
2021-05-24 12:12:10
阅读次数:
0