思路整理 过程：请求豆瓣电影 top 250 url='https://movie.douban.com/' 结果：得到网页的html 源码 （保存为hml文件 就可以用浏览器打开） 提示： Location WEB 服务器告诉浏览器，试图访问的对象已经被移到别的位置了，到该头部指定的位置去取。 例 ...
分类：
编程语言 时间：
2018-10-28 19:31:07
阅读次数：
182
1 #加快下载 2 pip install requests -i https://pypi.douban.com/simple 3 忘了的话 百度 python 豆瓣下载源 4 使用douban源下载python包 - 中国陆特 - 博客园 5 里面有 ...
分类：
其他好文 时间：
2018-10-28 19:14:26
阅读次数：
164
前面整理了一些爬虫的内容，今天写一个小小的栗子，内容不深，大佬请忽略。内容包括对豆瓣读书网站中的书籍的基本信息进行爬取，并整理，便于我们快速了解每本书的中心。 一、爬取信息 每当爬取某个网页的信息时，首先就是要进入到网页中，看看有没有什么爬取过程中的限制，可以查看网站的robots协议。就是在原网址 ...
分类：
其他好文 时间：
2018-10-27 23:36:26
阅读次数：
393
此次是做一个豆瓣的top250信息的抓取 首先打开pycharm 在pycharm的下端的Terminal中输入scrapy startproject douban 此时系统就生成了以下文件(spiders文件下自带一个_init_.py)还有一个_init_.py items.py middlew ...
分类：
其他好文 时间：
2018-10-25 10:57:36
阅读次数：
191
早在我大学的时候，我就曾经做过一个电影类的小程序，数据全部由豆瓣提供，功能比较单一，设计也很一般，链接如下： 今天在博客园瞎逛的时候，看到有一位博主做了个汽车销量的小程序，由于本人也是个汽车爱好者，便毫不犹豫地点了进去。 在认真地把所有功能都用了一遍之后，开发一个融入自己很多想法的汽车类小程序便开始 ...
分类：
微信 时间：
2018-10-24 17:50:40
阅读次数：
212
由于微信小程序访问豆瓣图书接口的API被关闭， 所有从小程序端发起的访问请求都会被拒绝， 403，禁止通信。 其余的信息接口大都是http的，微信小程序中不允许访问http， 我们通过中继服务器爬取并解析数据实现了一个可以在小程序中实现的图书信息查询接口。 通过图书的isbn 号码查询关于该图书的各 ...
分类：
微信 时间：
2018-10-21 21:56:29
阅读次数：
1189
"""爬取豆瓣网站的信息""" import requests from lxml import etree # 请求头设置 headers = { "User-Agentv": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHT ...
分类：
编程语言 时间：
2018-10-21 19:36:47
阅读次数：
241
# 感兴趣的同仁可以相互交流哦import requests import lxml.html,csv doubanUrl = 'https://movie.douban.com/top250?start={}&filter=' def getSource(url): response = requ ...
分类：
编程语言 时间：
2018-10-20 23:49:23
阅读次数：
502
写作投稿 "中国写手之家" "豆瓣稿费银行" "自由人" "起点" "天使领域浮云殿" 技术外包 "猪八戒网" "一品威客" 黑科技 "支付宝红包跳转链接" 一点感悟 读了陈珂同志的《 "生财进化论" 》，感觉能够赚到钱，有一下几点需要注意： 1. 引流方法：（精准引流） 1.?性吸引（虽然听着不好 ...
分类：
其他好文 时间：
2018-10-20 16:30:34
阅读次数：
192
场景 想安装 Django 库 在 cmd 敲入命令 但是发现下载安装文件非常慢 原因：实质访问的下载网站是 https://pypi.Python.org/simple/ 这是一个国外网站，速度比较慢 解决办法 使用国内源 在 cmd 更改为敲入命令（示例为豆瓣源） 以后使用 pip 时，都可以把 ...
分类：
编程语言 时间：
2018-10-20 11:50:15
阅读次数：
226
