码迷,mamicode.com
首页 >  
搜索关键字:crawl    ( 258个结果
【计算几何】【凸包】Gym - 101164H - Pub crawl
平面上n个点,点之间沿直线走,规划一条路线,每次只能往左半平面的点走,走过最多的点。 显然所有的点都能走过。 n^2的暴力显然是每次找左边与其所形成夹角最小的点,但这样过不了(卡常数?)。 或者每轮不断求凸包。有个非常巧妙的地方是将每一轮输出后剩下的最后一个点加到下一轮的点里面一起求凸包,这样只要按 ...
分类:其他好文   时间:2017-07-24 21:28:20    阅读次数:199
导入lxml找不到etree,报ImportError:DLL load failed:找不到指定的程序
1、是pip install lxml后,安装好了lmx-3.8.0,然后执行sacpy的scrapy crawl jobbole命令报导入lxml的etree无法导入,找不到指定的程序 2、这是因为有的lxml包中不包含"etree",所以需要重新下载一个包http://www.lfd.uci.e ...
分类:其他好文   时间:2017-07-14 13:30:22    阅读次数:5678
使用Spring 3的@value简化配置文件的读取
Spring 3支持@value注解的方式获取properties文件中的配置值,大简化了读取配置文件的代码。 1、在applicationContext.xml文件中配置properties文件 2、在bean中使用@value注解获取配置文件的值 即使给变量赋了初值也会以配置文件的值为准。 ...
分类:编程语言   时间:2017-07-13 21:54:45    阅读次数:192
WINDOWS操作系统中可以允许最大的线程数
默认情况下,一个线程的栈要预留1M的内存空间 而一个进程中可用的内存空间只有2G,所以理论上一个进程中最多可以开2048个线程 但是内存当然不可能完全拿来作线程的栈,所以实际数目要比这个值要小。 你也可以通过连接时修改默认栈大小,将其改的比较小,这样就可以多开一些线程。 如将默认栈的大小改成512K ...
分类:编程语言   时间:2017-07-10 00:33:38    阅读次数:3004
scrapy实战8关于数据异步写入mysql:
环境:python3 爬取网址:腾讯社招(http://hr.tencent.com/position.php?keywords=&tid=0&start=0#a)总共2202条数据 pipelines.py items.py settings.py spiders/Tencent.py ...
分类:数据库   时间:2017-07-04 16:11:18    阅读次数:338
定时执行批处理
一、介绍 本文主要介绍通过在windows10建立定时任务,在定时任务中执行批处理命令 二、建立定时任务 三、批处理命令 @echo off start cmd /k "cd/d D:\work\PythonCrawler\OTT&& python run.py" 1、用批处理命令打开 cmd 2、 ...
分类:其他好文   时间:2017-06-28 11:48:02    阅读次数:141
python scrapy简单爬虫记录(实现简单爬取知乎)
之前写了个scrapy的学习记录,只是简单的介绍了下scrapy的一些内容,并没有实际的例子,现在开始记录例子 使用的环境是python2.7, scrapy1.2.0 首先创建项目 在要建立项目的目录下执行命令scrapy startproject tutorial scrapy会帮你建立好项目, ...
分类:编程语言   时间:2017-06-16 16:39:01    阅读次数:2057
Spring整合Junit测试框架
在工作中,很多项目是基于ssm框架的web项目,在编写完代码需要进行测试。但是对象都交由Spring容器进行对象管理之后,测试变得复杂了。因为所有的Bean都需要在applicationContext.xml中加载好,之后再通过@Resource去取得。如果每次都要整个业务流做的差不多了再去测试,这 ...
分类:编程语言   时间:2017-06-11 20:07:29    阅读次数:107
scrapy基础知识之随机切换fake-useragent 库的使用:
1 from fake_useragent import UserAgent 2 3 class RandomUserAgent(object): 4 # def __init__(self,crawl): 5 # super(RandomUserAgent,self).__init__() 6 # ...
分类:其他好文   时间:2017-06-10 18:21:42    阅读次数:2098
scrapy调试时出现 ImportError: No module named win32api
windows下利用scrapy(python2.7)写爬虫,运行 scrapy crawl dmoz 命令时提示:exceptions.ImportError: No module named win32api 插个话题,这里还需要注意的是你需要到你所创建的爬虫项目目录下运行以上命令,比如你创建了 ...
分类:Windows程序   时间:2017-05-25 18:24:03    阅读次数:409
258条   上一页 1 ... 17 18 19 20 21 ... 26 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!