/** author： insun title:python 爬虫抓取心得分享 blog:http://yxmhero1989.blog.163.com/blog/static/112157956201311821444664/ **/??? 0x1.urllib.quote(‘要编码的字符串‘) 如果你要在url请求里面放入中文...
分类：
编程语言 时间：
2014-07-26 03:36:37
阅读次数：
334
1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view&搜索引擎 NutchNutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 尽管Web搜索是漫游In...
分类：
其他好文 时间：
2014-07-26 01:46:06
阅读次数：
442
selenium无法对窗口进行操作，此时需要借助autoit。必备软件： autoit3 如果不会编写也没有关系，可以用Au3Record直接录制，Au3Record直接就在autoit3的安装路径（path0）下步骤： 1、用Au3Record录制.au3文件。（保存路径path1） 2、调用R....
分类：
编程语言 时间：
2014-07-25 19:03:01
阅读次数：
307
在上一篇中说到了如何创建一个Django Tastypie API给移动CMS用，接着我们似乎也应该有一个本地的配置文件用于一些简单的配置，如"获取API的URL"、"产品列表"、"SEO"(在一开始的时候发现这是不好的，后面又发现Google的爬虫可以运行Javascript，不过也是不推荐的。)这些东西是不太需要修改的，直接写在代码中似乎又不好，于是放到了一个叫作configure.json的...
分类：
移动开发 时间：
2014-07-25 11:13:01
阅读次数：
474
一 scrapy-redis实现分布式爬取分析
所谓的scrapy-redis实际上就是scrapy+redis其中对redis的操作采用redis-py客户端。这里的redis的作用以及在scrapy-redis的方向我在自己fork的repository（链接：）已经做了翻译（README.rst）。
在前面一篇文章中我已经借助两篇相关文章分析了使用redis实现爬虫分布式的中心。归结起来...
分类：
其他好文 时间：
2014-07-24 23:13:44
阅读次数：
306
/* 网页爬虫*/import java.io.*;import java.net.*;import java.util.regex.*;class RegexTest2{ public static void main(String[] args) throws Exception { getMa...
分类：
Web程序 时间：
2014-07-23 20:34:25
阅读次数：
217
线程池中的死锁情况
这次死锁发生在什么情况下呢？在最开始写线程池的时候，我设计了线程是可重用的，主要是通过Event信号实现，通过在每个线程核心工作代码执行完毕后会将自己归还到池中，然后等待Event信号。主线程会以循环超时阻塞的方式监视一个任务队列，当发现有任务时便会从线程池中取出一个线程，并设置它的任务和目标函数，然后去start或者resume，resume就是会设置Event信号让线程不再阻塞，这里，从池中取线程的方法_get和归还线程方法returnThread都已经加锁，_get和return...
分类：
编程语言 时间：
2014-07-23 17:15:01
阅读次数：
333
场景webdriver允许我们设置默认的文件下载路径。也就是说文件会自动下载并且存在设置的那个目录中。下面会给出chrome和firefox浏览器的具体设置方法。代码import osfrom selenium import webdriverfp = webdriver.FirefoxProfil...
分类：
其他好文 时间：
2014-07-23 15:42:39
阅读次数：
240
public void clickReportIcon(){ String initialWindowHandle = driver.getWindowHandle(); //保存原始的浏览器窗口 page.getReportIcon().click(); //这个操作之后将会弹出另外一个浏...
分类：
其他好文 时间：
2014-07-23 15:14:46
阅读次数：
227
借用了张飞同学的HTML来进行的实战,文件下载路径：http://files.cnblogs.com/hugh007/demo.zip 代码如下：from selenium import webdriverfrom time import sleepfrom selenium.webdriver.....
分类：
编程语言 时间：
2014-07-23 12:06:36
阅读次数：
374
