参考了各位大大的，然后自己写了个爬虫用到的modules：utils.js --- momentmodule_url.js var http = require("http"); //获得页面数据 var cheerio = require("cheerio")...
分类：
Web程序 时间：
2014-06-27 19:58:25
阅读次数：
278
[目录]扯淡吹逼之开发前奏Django 开发环境搭建及配置Bootstrap 前端页面开发Django app开发Django 站点管理Python 简易爬虫开发Nginx&uWSGI 服务器配置...二、Django 开发环境搭建及配置1. 开发环境 开发环境依然是Windows，可以开发的dj....
分类：
Web程序 时间：
2014-06-27 18:12:23
阅读次数：
295
一.目的。
在教程（二）（http://blog.csdn.net/u012150179/article/details/32911511）中使用基于Spider实现了自己的w3cschool_spider，并在items.py中定义了数据结构，
在pipelines.py中实现获得数据的过滤以及保存。
但是以上述方法只能爬取start_url列表中的网页，而网络爬虫如google等搜索引擎...
分类：
Web程序 时间：
2014-06-27 09:37:22
阅读次数：
15554
如果之前熟悉Selenium RC，理解了Selenium RC是如何工作的，那么，当第一次接触Selenium WebDriver的时候，看到WebDriver居然可以不需要指定远端服务器的IP地址和端口号的，一定会惊讶的。事实上，WebDriver有两种方式“驱动”浏览器的方式。1. Selen...
分类：
Web程序 时间：
2014-06-26 21:06:31
阅读次数：
296
需导入的支持类：启动IE浏览器的代码： System.setProperty("webdriver.ie.driver", IEDriverServer.exe的存放路径); WebDriver driver = new InternetExplorerDriver(); driver.get...
分类：
其他好文 时间：
2014-06-26 20:51:41
阅读次数：
220
最近在项目过程中使用selenium 判断元素是否存在的时候 遇到一个很坑爹的问题， 用以下方法执行的时候每次都会等待很长一段时间，原因是因为对selenium实现方法了解不足导致一直找不到解决方法。 private boolean isElementPresent(By by) { try { d...
分类：
其他好文 时间：
2014-06-26 20:13:20
阅读次数：
215
[目录]扯淡吹逼之开发前奏Django 开发环境搭建及配置Bootstrap 前端页面开发Django app开发Django 站点管理Python 简易爬虫开发Nginx&uWSGI 服务器配置...一、扯淡吹逼之开发前奏 终于答辩完了，实在没什么事，作为一个死宅到底的码农，只有呆在宿舍写程序玩....
分类：
Web程序 时间：
2014-06-26 18:17:01
阅读次数：
339
Selenium Grid Configuration
1. Start Selenium Hub
java -jar selenium-server-standalone-2..jar
-role hub
2. Start Selenium Node
Start with Node contains Selenium RC...
分类：
其他好文 时间：
2014-06-26 11:52:37
阅读次数：
433
一、Selenium简介1.Selenium1(Selenium RC) Selenium2(Selenium WebDriver) Selenium2.0 = Selenium1.0 + WebDriver（也就是说Selenium2.0合并了这两个项目）2.WebDriver支持 Firefox...
分类：
Web程序 时间：
2014-06-26 00:13:34
阅读次数：
331
网络爬虫第一个要面临的问题，就是如何抓取网页，抓取其实很容易，没你想的那么复杂，一个开源HtmlUnit包，4行代码就OK啦，例子如下：1234finalWebClient webClient=newWebClient();finalHtmlPage page=webClient.getPage("...
分类：
Web程序 时间：
2014-06-22 23:47:37
阅读次数：
373
