爬取豆瓣电影top250,出现以下报错: 防止反爬机制,伪装user_agent 【1】打开豆瓣top250 : https://movie.douban.com/top250 【2】F12 打开控制台->刷新页面 ->Network->请求头部找到 User-Agent 在scrapy项目中找到s ...
分类:
Web程序 时间:
2018-08-11 23:22:40
阅读次数:
897
from urllib import requestimport jsonimport timeimport reurl = ["https://movie.douban.com/celebrity/1032800/movies?start=0&format=pic&sortby=time&","h ...
分类:
其他好文 时间:
2018-08-11 23:20:21
阅读次数:
197
一、Http协议 二、Https协议 三、使用Python获取数据 (1)urlib (2)GET请求 (3)POST请求 四、爬取豆瓣电影实战 1.思路 (1)在浏览器中输入https://movie.douban.com/j/search_tags?type=movie会得到显示的电影的分类标签 ...
分类:
数据库 时间:
2018-08-10 13:18:14
阅读次数:
228
经常在使用python的时候需要安装各种模块,而pip是很强大的模块安装工具,但是由于国外官方pypi经常被墙,导致不可用,所以我们最好是将自己使用的pip源更换一下,这样就能解决被墙导致的装不上库的烦恼。 网上有很多可用的源,例如豆瓣:http://pypi.douban.com/simple/ ...
分类:
其他好文 时间:
2018-08-10 01:20:48
阅读次数:
195
pip更改国内源国内源:豆瓣:http://pypi.douban.com/simple/清华:https://pypi.tuna.tsinghua.edu.cn/simple阿里云:http://mirrors.aliyun.com/pypi/simple/中国科技大学:https://pypi.mirrors.ustc.edu.cn/simple/中国科学技术大学:http://pypi.mi
分类:
其他好文 时间:
2018-08-06 21:42:04
阅读次数:
967
通过豆瓣API可以获取很多电影、书籍的数据信息,今天在调用豆瓣正在上映电影接口的时候报403错误,原因是豆瓣设置了小程序的访问权限。如下: 解决方法是使用代理,将豆瓣API地址换成 https://douban.uieee.com,但是,悲催的是又报了400(bad request)错误,如下: 接 ...
分类:
微信 时间:
2018-08-05 22:27:33
阅读次数:
305
2018-08-03 # 阿里云 http://mirrors.aliyun.com/pypi/simple/ # 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ #豆瓣(douban) http://pypi.douban.com/simple/ # ...
分类:
编程语言 时间:
2018-08-03 14:32:49
阅读次数:
1801
网址:https://www.douban.com/doulist/45940373/ webgl 来自: Pasu 2017-04-17创建 2017-07-25更新 推荐 关注 2 人关注 全部(8) · 图书(8) 来自:豆瓣读书 OpenGL Insights (8人评价) 作者: Patr ...
分类:
Web程序 时间:
2018-08-01 12:10:15
阅读次数:
224
1. 创建爬虫项目douban 2. 设置items.py文件,存储要保存的数据类型和字段名称 3. 设置爬虫文件doubanmovies.py coding: utf 8 import scrapy from douban.items import DoubanItem class Doubanm ...
分类:
数据库 时间:
2018-08-01 00:25:22
阅读次数:
246
根据: https://www.douban.com/note/637446089/http://bbs.16rd.com/blog-23795-3446.html 以下摘自原文: (Android主机)每一个设备被搜到时,(设备)会提供COD(class of device)给对方,搜索方可以依据 ...
分类:
移动开发 时间:
2018-07-26 01:05:57
阅读次数:
264