项目托管平台地址:https://gitee.com/wangdating/movie250开发内容: 首先我们选择使用Python脚本语言开发这个项目 代码:1.使用python的request库先获取网页内容下来(目标网址首页 url: https://movie.douban.com/top2 ...
分类:
其他好文 时间:
2017-11-02 22:01:58
阅读次数:
127
爬取豆瓣——文档 一。开发语言的选择: 本次系统设计选用Python高级编程语言,其原因:Python易学易用、语法简单、url请求和字符串处理都非常便捷,为高效数据采集的流行工具。 二。本次系统实现的需求(功能): 要采集豆瓣电影网所有的电影信息及其排名。 三。实现功能的理论(初步设想): 浏览器 ...
分类:
其他好文 时间:
2017-11-02 19:59:17
阅读次数:
167
此文是学习小程序第二天做出的一个小demo,调用了豆瓣电影的api,但是需要填上自己appId,现在项目的 目录如下图: 在这个demo里面,我更改了小程序的navigationBar,设置了最下方的三个tabBar,这是公共的设置需要在app.json里面设置, 我在做好小程序之后,把几个公共页面 ...
分类:
微信 时间:
2017-11-01 11:05:14
阅读次数:
375
pip的原理其实是从Python的官方源pypi.python.org/pypi下载到本地,然后解包安装 但是有的时候,这个操作会非常慢,国内可以通过豆瓣的源来下载这些插件 命令是 pip install some-package -i https://pypi.douban.com/simple/ ...
分类:
编程语言 时间:
2017-10-31 11:07:40
阅读次数:
184
还是豆瓣top250爬虫的例子,添加下载中间件,主要是设置动态Uesr-Agent和代理IP Scrapy代理IP、Uesr-Agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制,我们在settings.py同级目录下创建middlewares.py文件,包装所有请求。 mi ...
分类:
编程语言 时间:
2017-10-30 18:22:41
阅读次数:
163
一、Python介绍 Python的创始人为吉多·范罗苏姆(Guido van Rossum)。现应用于数据分析、组件集成、网络服务、图像处理、数值计算和科学计算等众多领域。业内大中型互联网企业:Youtube、Dropbox、BT、Quora(中国知乎)、豆瓣、知乎、Google、Yahoo!、F ...
分类:
编程语言 时间:
2017-10-30 14:39:34
阅读次数:
206
以前都是用pip安装Python插件的,直到今天 pip的原理其实是从Python的官方源pypi.python.org/pypi下载到本地,然后解包安装 但是有的时候,这个操作会非常慢,国内可以通过豆瓣的源来下载这些插件 命令是 some-package就是你要安装的包名 这其实跟yum安装一个道 ...
分类:
编程语言 时间:
2017-10-29 14:34:12
阅读次数:
335
豆瓣小组上有很多小组里面的图片非常的好 所以我们给爬下来 先构建主页url 接着用xpath获取需要爬的帖子链接 接着获取所有图片的链接 然后当然是保存所有图片了 以上仅供学习交流使用 ...
分类:
其他好文 时间:
2017-10-28 21:10:36
阅读次数:
324
项目托管平台地址:https://gitee.com/nothingbigger/DouBantop250 开发模块功能: 完善爬取功能、补全获取数据的漏洞,开发时间:1天 遇到的问题及问题解决方法: 主要去发现别人开发模块时程序存在的的漏洞,并且予以纠正 其他补充说明: 无 ...
分类:
其他好文 时间:
2017-10-27 23:56:02
阅读次数:
448