1. spider.py文件如下 2. config.py ...
分类:
其他好文 时间:
2018-07-09 10:58:35
阅读次数:
149
#!/usr/bin/env python # -*- coding:utf-8 -*- # author:love_cat from twisted.internet import reactor # 事件循环(终止条件,所有的socket都已经移除) from twisted.internet ... ...
分类:
其他好文 时间:
2018-07-03 20:14:21
阅读次数:
695
<ignore_js_op> 有一个人从我们出生开始就一直陪伴在身边,他的背影永远高大,他的怀抱永远温暖,他的面孔永远带笑,他的手腕永远有力。可以说,无论我们遇到什么困难,他总是有种魔力般的支撑。这个人,就是爸爸。给生活一道温暖,说一声父亲节快乐平常工作比较忙,可能陪伴父亲的时间有限。但岁月渐去,父 ...
分类:
其他好文 时间:
2018-06-18 00:30:42
阅读次数:
242
1.搜索关键词:利用Selenium驱动浏览器,得到商品列表。 2.分析页码并翻页:得到商品页码数,模拟翻页,得到后续页面的商品列表。 3.分析提取商品内容:利用PyQuery分析源码,解析得到商品列表。 4.存储到MongoDB:将商品列表信息存储到数据库MongoDB。 可以利用PhantomJ ...
分类:
其他好文 时间:
2018-06-01 01:00:13
阅读次数:
202
三、数据库索引的原理 在整个过程中,最容易称为瓶颈点的是数据的读写,往往意味着要顺序或者随机读写磁盘,而读写磁盘的速度往往是比较慢的。 如果加快这个过程呢?相信大家都猜到了就是建立索引。 为什么索引能够加快这个过程呢? 相信大家都逛过美食城,里面众多家餐馆琳琅满目,如果你不着急呢,肚子不饿,对搜索的 ...
分类:
数据库 时间:
2018-05-23 13:04:43
阅读次数:
221
BZOJ2879: [Noi2012]美食节 Description CZ市为了欢迎全国各地的同学,特地举办了一场盛大的美食节。 作为一个喜欢尝鲜的美食客,小M自然不愿意错过这场盛宴。 他很快就尝遍了美食节所有的美食。 然而,尝鲜的欲望是难以满足的。 尽管所有的菜品都很可口,厨师做菜的速度也很快,小 ...
分类:
其他好文 时间:
2018-05-20 10:55:48
阅读次数:
161
1、启动pycharm 首先咱们新建一个项目名字大家可以自己设定 接着新建一个spider.p文件 运行结果: 小伙伴们可是将其中的美食字样该为其他想要获取的淘宝商品数据尝试运行下,是不是挺有意思的,哈哈! ...
分类:
其他好文 时间:
2018-05-06 23:28:09
阅读次数:
239
1. 运行代码(Bili 爬虫 16 selenium 抓取淘宝美食信息),报错 Error信息: 解决方案 mac下安装chromedriver发现无法授予权限; 学习的点: open . 打开文件所在目录 解决 知乎 Mac OS X 10.11 sudo 指令出问题了么? 重启 cmd+R 命 ...
分类:
系统相关 时间:
2018-04-16 00:41:34
阅读次数:
325
食堂排队 发布时间: 2018年4月9日 15:09 最后更新: 2018年4月9日 17:54 时间限制: 1000ms 内存限制: 128M 描述 某日,食堂窗口推出一款新美食,每个班的同学都想去尝一尝。于是,很多人都去这个窗口排队,但是,队伍中如果同班同学相邻站着的话,他们就只需要一个人排在队 ...
分类:
其他好文 时间:
2018-04-11 21:50:08
阅读次数:
175
题面 "传送门" 思路 先看看这道题 "修车" 仔细理解一下,这两道题是不是一样的? 这道题的不同之处 但是有一个区别:本题中每一种车有多个需求,但是这个好办,连边的时候容量涨成$p\lbrack i\rbrack$就好了 但是还有一个区别:数据量变大了 _ 这直接导致了费用流裸做,TLE60分,因 ...
分类:
其他好文 时间:
2018-04-08 00:25:48
阅读次数:
178