这几天一直在学习scrapy框架，刚好学到了CrawlSpider和Rule的搭配使用，就想着要搞点事情练练手！！！ 信息提取 算了，由于爬虫运行了好几次，太过分了，被封IP了，就不具体分析了，附上《战狼2》豆瓣影评页面链接： "https://movie.douban.com/subject/26 ...
分类：
其他好文 时间：
2018-01-15 00:20:59
阅读次数：
185
声明：以下代码，Python版本3.6完美运行 一、思路介绍 不同的图片网站设有不同的反爬虫机制，根据具体网站采取对应的方法 1. 浏览器浏览分析地址变化规律 2. Python测试类获取网页内容，从而获取图片地址 3. Python测试类下载图片，保存成功则爬虫可以实现 二、豆瓣美女（难度：?） ...
分类：
编程语言 时间：
2018-01-14 11:00:50
阅读次数：
5621
声明：以下代码，Python版本3.6完美运行 一、思路介绍 不同的图片网站设有不同的反爬虫机制，根据具体网站采取对应的方法 1. 浏览器浏览分析地址变化规律 2. Python测试类获取网页内容，从而获取图片地址 3. Python测试类下载图片，保存成功则爬虫可以实现 二、豆瓣美女（难度：?） ...
分类：
编程语言 时间：
2018-01-13 18:49:44
阅读次数：
193
2018 01 10 启蒙vue博客http://www.cnblogs.com/xin9984/category/983506.html 1-vuejs2.0实战：仿豆瓣app项目，创建自定义组件tabbarhttps://www.jianshu.com/p/8641c784179d Vue2.0 ...
分类：
其他好文 时间：
2018-01-11 15:45:17
阅读次数：
106
需求 python默认使用国外源下载依赖包，由于一些其它因素（例如网络差了，国外机器炸了，我们强大的祖国了。。。）经常导致下载安装失败，so出现了以豆瓣为主的国内下载源 如何使用豆瓣进行下载 豆瓣下载地址：http://pypi.douban.com/simple 1、使用pip下载时指定使用豆瓣源 ...
分类：
编程语言 时间：
2018-01-07 17:34:01
阅读次数：
171
目前总的来说是失败了。原因可能是因为豆瓣验证码的问题，因为我看不到登录时候的界面，所以没法分析验证码的链接。（我用自己的浏览器登录都是默认不要验证码的，这就尴尬了），所以登录不上，后面的post也就没有意义了。把代码贴出来。 # -*- coding: utf-8 -*- """ Created o ...
分类：
编程语言 时间：
2018-01-07 17:26:38
阅读次数：
154
想做个利用Python发布豆瓣“说句话”的工具，目前我已知的有两种方法： 用Python驱动一些无界面浏览器phantomjs（因为我没用Chrome），直接模拟发状态的行为。 按F12分析网页发布动态的js行为，直接在Python中post。 对比两种方法，第一种需要安装phantomjs，但是普 ...
分类：
编程语言 时间：
2018-01-06 17:13:01
阅读次数：
138
"数据结构和算法可以培养一个人的逻辑思维(推荐几本书)" "等差数列" (首项+尾项) (项数的一半) ...
分类：
编程语言 时间：
2018-01-05 22:34:52
阅读次数：
180
以豆瓣为例，访问https://www.douban.com/contacts/list 来查看自己关注的人，要登录才能查看。 如果用requests.get()方法获取这个http，没登录只能抓取回一个登录界面，所以我们要用Python登录网站才能抓取想要的网页。 一个简便的方法就是自己在浏览器上 ...
分类：
编程语言 时间：
2018-01-05 22:32:38
阅读次数：
320
Anaconda3里边自带了bs4的包，省的我自己安装了。 最近觉得模块化的写法可以让代码变得清晰易读。而且随着代码的增多，找bug也会更方便。（目前我还写不出这么多）而且模块化有种工具化的思想，拿来主义的思想在里面，使用工具可是人等少数智慧动物的专利啊。之后也要多学习使用[try - except ...
分类：
编程语言 时间：
2018-01-04 16:32:03
阅读次数：
644
