项目托管平台地址:https://gitee.com/wangdating/movie250开发内容： 首先我们选择使用Python脚本语言开发这个项目 代码：1.使用python的request库先获取网页内容下来（目标网址首页 url: https://movie.douban.com/top2 ...
分类：
其他好文 时间：
2017-11-02 22:01:58
阅读次数：
127
爬取豆瓣——文档 一。开发语言的选择： 本次系统设计选用Python高级编程语言，其原因：Python易学易用、语法简单、url请求和字符串处理都非常便捷，为高效数据采集的流行工具。 二。本次系统实现的需求（功能）： 要采集豆瓣电影网所有的电影信息及其排名。 三。实现功能的理论（初步设想）： 浏览器 ...
分类：
其他好文 时间：
2017-11-02 19:59:17
阅读次数：
167
此文是学习小程序第二天做出的一个小demo,调用了豆瓣电影的api,但是需要填上自己appId,现在项目的 目录如下图： 在这个demo里面，我更改了小程序的navigationBar，设置了最下方的三个tabBar,这是公共的设置需要在app.json里面设置， 我在做好小程序之后，把几个公共页面 ...
分类：
微信 时间：
2017-11-01 11:05:14
阅读次数：
375
pip的原理其实是从Python的官方源pypi.python.org/pypi下载到本地，然后解包安装 但是有的时候，这个操作会非常慢，国内可以通过豆瓣的源来下载这些插件 命令是 pip install some-package -i https://pypi.douban.com/simple/ ...
分类：
编程语言 时间：
2017-10-31 11:07:40
阅读次数：
184
还是豆瓣top250爬虫的例子，添加下载中间件，主要是设置动态Uesr-Agent和代理IP Scrapy代理IP、Uesr-Agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制，我们在settings.py同级目录下创建middlewares.py文件，包装所有请求。 mi ...
分类：
编程语言 时间：
2017-10-30 18:22:41
阅读次数：
163
一、Python介绍 Python的创始人为吉多·范罗苏姆（Guido van Rossum）。现应用于数据分析、组件集成、网络服务、图像处理、数值计算和科学计算等众多领域。业内大中型互联网企业：Youtube、Dropbox、BT、Quora（中国知乎）、豆瓣、知乎、Google、Yahoo!、F ...
分类：
编程语言 时间：
2017-10-30 14:39:34
阅读次数：
206
以前都是用pip安装Python插件的，直到今天 pip的原理其实是从Python的官方源pypi.python.org/pypi下载到本地，然后解包安装 但是有的时候，这个操作会非常慢，国内可以通过豆瓣的源来下载这些插件 命令是 some-package就是你要安装的包名 这其实跟yum安装一个道 ...
分类：
编程语言 时间：
2017-10-29 14:34:12
阅读次数：
335
豆瓣小组上有很多小组里面的图片非常的好 所以我们给爬下来 先构建主页url 接着用xpath获取需要爬的帖子链接 接着获取所有图片的链接 然后当然是保存所有图片了 以上仅供学习交流使用 ...
分类：
其他好文 时间：
2017-10-28 21:10:36
阅读次数：
324
项目托管平台地址:https://gitee.com/nothingbigger/DouBantop250 开发模块功能: 完善爬取功能、补全获取数据的漏洞，开发时间:1天 遇到的问题及问题解决方法: 主要去发现别人开发模块时程序存在的的漏洞，并且予以纠正 其他补充说明: 无 ...
分类：
其他好文 时间：
2017-10-27 23:56:02
阅读次数：
448
