之前就听说过利用网络爬虫来获取页面，感觉还挺有意思的，要是能进行一下偏好搜索岂不是可以满足一下窥探欲。 后来从一本书上看到用HttpClient来爬取页面，虽然也有源码，但是也没说用的HttpClient是哪个版本的，而且HttpClient版本不一样，导致后面很多类也不一样。于是下载了最新的Htt... ...
分类：
Web程序 时间：
2016-04-26 17:40:05
阅读次数：
182
HTTP是一个客户端和服务器端请求和应答的标准（TCP）。客户端是终端用户，服务器端是网站。通过使用Web浏览器、网络爬虫或者其它的工具，客户端发起一个到服务器上指定端口（默认端口为80）的HTTP请求。（我们称这个客户端）叫用户代理（user agent）。应答的服务器上存储着（一些）资源，比如H ...
分类：
其他好文 时间：
2016-04-24 15:33:42
阅读次数：
147
自己总结了一下就是存储，消息处理（异步，阻塞，队列，消息中间件） 参考岗位需求 数据爬虫工程师的岗位职责：1、分布式网络爬虫研发：不断完善现有抓取系统，通过对抓取、解析、调度、存储等模块的拆分与优化，形成具有本地服务特色的定向爬虫引擎，持续改进与迭代完善，推进开放服务建设;2、抓取数据需求支持：不断 ...
分类：
编程语言 时间：
2016-04-23 11:42:41
阅读次数：
198
理解URL一、URI什么是uri？web上每种可用资源，如html文档、图像、视频、程序等都是由一个通用资源标志符URI（UniversalResourceIdentifer）进行定位。URI通常由三部分组成：访问资源的命名机制；存放资源的主机名；资源自身的名称，由路径表示。如下面的URI：http://www.webmo..
分类：
其他好文 时间：
2016-04-22 21:05:54
阅读次数：
305
使用AWVS对域名进行全局分析，深入探索： 首先，介绍一下AWVS这个工具。 Acunetix Web Vulnerability Scanner（简称AWVS）是一款知名的网络漏洞扫描工具，它通过网络爬虫测试你的网站安全，检测流行安全漏洞。伦敦时间2015年6月24日，官方发布了最新版AWVS 1 ...
分类：
其他好文 时间：
2016-04-20 15:00:28
阅读次数：
282
学习nodejs,对于前端人员来说，不懂后台技术，也是不太容易的。当然，nodejs的唯一好处貌似就是其代码编写编译等风格上的JavaScript相同，可以说，其就是通过JavaScript进行后台代码的编写。这对于JavaScript语言来说，有了新的突破和革新（革新有点大了，突破是肯定的）呵呵。..
分类：
Web程序 时间：
2016-04-19 00:45:35
阅读次数：
221
由于大三下的时候选修了搜索技术。了解了网络上搜索引擎和网络爬虫的信息扒取的一些东西，后来我们做了一个比較水的东西。就是仅仅扒取了几家较大的下载站点几十个软件的评分下载量等信息，当用户输入一个程序名称。我们会依据下载量和评分算出的分数做一个推荐排序。 咳，扯远了。那时候我们在windows下须要用火狐 ...
分类：
Web程序 时间：
2016-04-10 17:35:30
阅读次数：
177
本篇文章将教大家如何在python2中安装httplib2库，并且会通过一个小爬虫实例展示一下其功能。首先大家可以从“https://code.google.com/p/httplib2/”下载一款适合你的压缩包（也可以从本篇文章的附件中直接下载lib2安装包）解压你的压缩包到任意目录中（推荐是python的安装目..
分类：
编程语言 时间：
2016-04-07 18:41:08
阅读次数：
1058
想学习一下网络爬虫，涉及到模拟登录，查阅了一番资料以后发现大部分都有点过时了，就使用前辈们给的经验，Firefox抓包调试，采用httpclient模拟了一下新浪登录。不对之处多多包含。需要的可以用浏览器调试看看还有哪些需要修改的，改改就可以了。
下面附上源码：（登录一次后，再次运行可能读到的页面是新浪通信证登录）
package com.spider.httpclient;
import ...
分类：
编程语言 时间：
2016-04-07 10:54:07
阅读次数：
266
我第一次接触爬虫这东西是在今年的5月份，当时写了一个博客搜索引擎。所用到的爬虫也挺智能的，起码比电影来了这个站用到的爬虫水平高多了！ 回到用Python写爬虫的话题。 Python一直是我主要使用的脚本语言，没有之中的一个。Python的语言简洁灵活，标准库功能强大。寻常能够用作计算器，文本编码转换 ...
分类：
编程语言 时间：
2016-04-06 20:14:41
阅读次数：
240
