今日头条的数据都是ajax加载显示的，按照正常的url是抓取不到数据的，需要分析出加载出址，我们以https://www.toutiao.com/search/?keyword=%E6%96%B0%E9%97%BB为例来采集列表的文章用谷歌浏览器打开链接，右键点击“审查”在控制台切换至network并点击XHR，这样就可以过滤图片、文件等等不必要的请求只看页面内容的请求由于页面是ajax加载的，所
分类：
Web程序 时间：
2018-05-07 23:50:44
阅读次数：
441
""" 抓取今日头条街拍美图 """ import os import time import requests from hashlib import md5 class SpiderToutiao(object): def __init__(self): # 指定下载目录 self.downlo... ...
分类：
编程语言 时间：
2018-05-06 22:19:40
阅读次数：
218
用堆排序找出list中第K小的数字, 用小顶堆 python3 def min_heap_k(nums, topk): def siftdown(nums, e, begin, end): i = begin j = 2 i + 1 while j ...
分类：
编程语言 时间：
2018-05-02 21:11:28
阅读次数：
339
题目描述：链接点此 这套题的github地址（里面包含了数据，题解，现场排名）：点此 题目描述 A few days ago, WRD was playing a small game called Salty Fish Go. We can simplify the rules of the ga ...
分类：
其他好文 时间：
2018-04-30 14:33:05
阅读次数：
163
题目描述：链接点此 这套题的github地址（里面包含了数据，题解，现场排名）：点此 题目描述 Given n positive integers , your task is to calculate the product of these integers, The answer is les ...
分类：
其他好文 时间：
2018-04-26 01:25:58
阅读次数：
305
准备工作 requests、Beautiful Soup、MongoDB 抓取分析 在抓取之前首先分析抓取的逻辑，打开今日头条的首页https://www.toutiao.com/如图 右上角有一个搜索入口，这里尝试抓取街拍美图，所有输入“街拍”二字，搜索一下，结果如下图所示： 这时打开发者工具，查 ...
分类：
Web程序 时间：
2018-04-22 16:03:14
阅读次数：
252
package TestToken; import com.auth0.jwt.JWT; import com.auth0.jwt.JWTVerifier; import com.auth0.jwt.algorithms.Algorithm; import com.auth0.jwt.interfa... ...
分类：
其他好文 时间：
2018-04-21 22:52:15
阅读次数：
744
所有题目： http://cdn.vo-ov.cn/online_f9ec217.pdf F: A-maze-ing 哇我也是哭了...dfs写错，dfs还用了vis数组，实际上并不需要，WA了N多次...呜呜呜 看出来对图的基本概念还比较生疏，或者说都忘了好多，一开始还在纠结环是不是强连通分量.. ...
分类：
其他好文 时间：
2018-04-18 13:34:34
阅读次数：
212
今日头条搜索 ：cos. 网址：https://www.toutiao.com/search/?keyword=cos 分析1 在network的doc中的Preview，看到只有一句话，并没有页面的信息，所以判定存在异步加载。 分析2 在XHR中，果然找到相关的json数据。注意，只有key值是 ...
分类：
其他好文 时间：
2018-04-13 17:58:45
阅读次数：
145
from selenium import webdriver from lxml import etree from pyquery import PyQuery as pq import time driver = webdriver.Chrome() driver.maximize_window... ...
分类：
编程语言 时间：
2018-04-09 21:05:31
阅读次数：
1316
