学习Python至今已经一个半月的时间，已经完成了第一阶段的学习，就该阶段的学习做如下总结。首先看一下存在哪些问题。 首先，课上内容有时不能做到及时消化需要下课及时复习练习。 第一阶段主要内容为Python基础知识和MySQL的基本操作，对于班里一些计算机专业或者应届生来说，应该是没有问题的，但对于 ...
分类：
编程语言 时间：
2017-12-06 16:12:20
阅读次数：
161
终端输入命令：pip install requests 如果报错： Installing collected packages: idna, urllib3, certifi, chardet, requests Exception: Traceback (most recent call last ...
分类：
编程语言 时间：
2017-12-06 14:34:05
阅读次数：
318
WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家 ...
分类：
编程语言 时间：
2017-12-06 14:24:15
阅读次数：
266
详细资料可以看慕课网：https://www.imooc.com/video/10690 一：爬虫 一段自动抓取互联网信息的程序 爬虫从一个url出发，访问所有的url，并且从每个页面提取，所需要的有价值的数据 价值：比如我也做一个美女网，把网上所有的美女图片放在一个网站上。 二：简单爬虫架构： 1 ...
分类：
编程语言 时间：
2017-12-05 20:06:03
阅读次数：
193
最近老大让从网站上获取数据，手动太慢，网上找了点python，用脚本操作。 这里面坑可是不少 1.刚开始xlsx格式文件，save后不能打开，把excel格式改为xls才正确。 2.header网上找的，这样不会被认为是网络爬虫而报错：http.client.RemoteDisconnected: ...
分类：
编程语言 时间：
2017-12-05 17:37:37
阅读次数：
346
使用Python的requests 和BeautifulSoup模块，Python 2.7.12可在命令行中直接使用pip进行模块安装。爬虫的核心是利用BeautifulSoup的select语句获取需要的信息。 以武汉市2017年5~7月的历史为例爬取天气网中武汉市的历史天气数据。 7月对应的网址 ...
分类：
编程语言 时间：
2017-12-05 13:27:21
阅读次数：
662
一、首先想到的是for循环，单线程爬取每个url，但是如果有url出现了问题，后面的url就得等，性能低。 二、我们考虑线程池的问题，下面我们定义了线程池里面最多10个任务，也就是说最多同一时间只能有10个爬行任务，这样的话就是自己干自己的互相不影响，加上主线程的话是n+1个线程，缺点也很明显，耗时 ...
分类：
编程语言 时间：
2017-12-04 23:35:18
阅读次数：
188
今天我们来讲一下如何通过python来实现自动登陆京东，以及签到领取金币。 如何自动登陆京东？ 我们先来看一下京东的登陆页面，如下图所示： 【插入图片，登陆页面】 登陆框就是右面这一个框框了，但是目前我们遇到一个困呐，默认的登陆方式是扫码登陆，如果我们想要以用户民个、密码的形式登陆，就要切换一下。 ...
分类：
其他好文 时间：
2017-12-04 23:31:26
阅读次数：
264
爬虫的自我修养_5 一、CrawlSpiders类简介 通过下面的命令可以快速创建 CrawlSpider模板 的代码： scrapy genspider -t crawl tencent tencent.com 上一个案例中，我们通过正则表达式，制作了新的url作为Request请求参数，现在我们 ...
分类：
编程语言 时间：
2017-12-04 22:26:45
阅读次数：
249
