1、python2、selenium 2.03、日语TAT 尽量完成吧
分类:
其他好文 时间:
2014-07-22 23:15:53
阅读次数:
228
1.pyquery简介
python中的pyquery模块语法与jquery相近,可用来解析HTML文件。官方文档地址:https://pythonhosted.org/pyquery/ 。通过HTML中的标签、id、给定的索引等来获取元素,使得解析HTML文件极为方便。
2.实例
2.1 爬取豆瓣电影页面中主演
右键chrome中的审查元素,观察到主演的标...
分类:
编程语言 时间:
2014-07-22 23:02:54
阅读次数:
455
一直忘记写selenium的开始学习的过程,今天趁五一,天气有雨,写下这文章1.进入selnium官网,了解selenium1,2,grid的区别。下载c#相关的包(使用c#的人非常少)2.使用IED录制脚本,用C#导出,观察脚本的写法。当然需要在selenium官网下载IDE(firefox)
2...
分类:
其他好文 时间:
2014-07-22 23:00:53
阅读次数:
368
org.openqa.selenium.firefox.NotConnectedException:
Unable to connect to host 127.0.0.1 on port 7055 after 45000 ms. Firefox console
output:*** LOG add...
分类:
其他好文 时间:
2014-05-01 15:00:46
阅读次数:
292
xmfdsh我真是兴趣多多,怎么老是静不下心来搞定一方面的技术,再学点其他的东西,循序渐进,好吧,我又研究网络爬虫去了,这是一个简单版的,参考了网上很多资料,C#来编写,专门抓取图片,能够抓取一些需要cookie的网站,所以功能上还是挺完善的,xmfdsh只研究了三天,因此还有大把需要改进的地方,日...
分类:
其他好文 时间:
2014-04-29 21:50:37
阅读次数:
712
网页抓取和ftp访问是目前很常见的一个应用需要,无论是搜索引擎的爬虫,分析程序,资源获取程序,WebService等等都是需
要的,自己开发抓取库当然是最好了,不过开发需要时间和周期,使用现有的Open
source程序是个更好的选择,一来别人已经写的很好了,就近考验,二来自己使用起来非常快速,三来...
分类:
其他好文 时间:
2014-04-29 16:45:47
阅读次数:
749
最近亲眼看到快播被大批警察包围,感觉到快播注定要关闭很多东西,很多宅男宅女们又要寂寞了,于是乎,疯狂的研究DHT网络技术
看到网上也有开源的代码,这不,我拿来进行了二次重写,呵呵,上代码:
#encoding: utf-8
import socket
from hashlib import sha1
from random import randint
from struct import u...
分类:
其他好文 时间:
2014-04-29 13:13:20
阅读次数:
420
介绍功能:网络爬虫开发语言:c++开发者:Sébastien
Ailleret(法国)特点:只抓取网页,高效(一个简单的larbin的爬虫可以每天获取500万的网页)安装安装平台:Ubuntu
12.10下载:http://sourceforge.net/projects/larbin/files/...
分类:
其他好文 时间:
2014-04-28 14:46:03
阅读次数:
565
这两天看了好几篇不错的文章,有的时候想把好的文章 down 下来放到 kindle
上看,便写了个爬虫脚本,因为最近都在搞 node,所以就很自然的选择 node
来爬咯~本文地址:http://www.cnblogs.com/hustskyking/p/spider-with-node.html,...
分类:
Web程序 时间:
2014-04-28 12:20:09
阅读次数:
566
前文中我们把网络爬虫爬取的数据保存为JSON格式,但为了能够更方便地处理数据,我们希望把这些数据导入到MySQL数据库中。phpMyadmin可以把MySQL数据库中的数据导出为JSON格式文件,但却不能把JSON格式文件导入到MySQL数据库。为了实现这个目标,可以编写Python脚本将JSON格式数据转换为SQL语句以便导入MySQL数据库。
JSON文件tencent.json...
分类:
数据库 时间:
2014-04-28 10:33:41
阅读次数:
479