#coding:utf-8import sys,urllib2,re,Queuesys.path.append("..")from lib.Http_Class import Http_Classfrom BeautifulSoup import BeautifulSoup#############...
分类:
编程语言 时间:
2014-07-07 20:49:39
阅读次数:
350
发现科大网页的源码中还有文章的点击率,何不做一个文章点击率的降序排行。简单,前面入门(1)基本已经完成我们所要的功能了,本篇我们仅仅需要添加:一个通过正则获取文章点击率的数字;再加一个根据该数字的插入排序。ok,大功告成!简单说一下本文插入排序的第一个循环,找到列表中最大的数,放到列表 0 的位置做...
分类:
编程语言 时间:
2014-07-01 14:01:14
阅读次数:
245
有人说大部分python程序员都是通过爬虫入门的或者都是由爬虫喜欢上python的。还有大部分人学爬虫都喜欢拿自己学校的网站练手。我就是基于以上两点开始的。。。ok,开始,首先你需要一点python基础,一点点基础就可以,找一本薄薄的书过一遍,可以上这来找找http://wiki.woodpecke...
分类:
编程语言 时间:
2014-07-01 11:47:07
阅读次数:
316
一.目的。
在教程(二)(http://blog.csdn.net/u012150179/article/details/32911511)中使用基于Spider实现了自己的w3cschool_spider,并在items.py中定义了数据结构,
在pipelines.py中实现获得数据的过滤以及保存。
但是以上述方法只能爬取start_url列表中的网页,而网络爬虫如google等搜索引擎...
分类:
Web程序 时间:
2014-06-27 09:37:22
阅读次数:
15554
IP协议详解
上一篇文章文章主要介绍了IP服务的特点,IPv4头部结构IP分片,并用tcpdump抓取数据包,来观察IP数据报传送过程中IP的格式,以及分片的过程。本文主要介绍IP路由,IP转发,重定向和IPv6头部结构。
IP路由
IP协议的一个核心任务是数据报的路由,即决定发送数据报到目标机器的路径。为了理解IP路由过程,我们先简要分析IP模块的基本流程。...
分类:
其他好文 时间:
2014-06-26 14:06:40
阅读次数:
432
Git使用远程仓库的操作讲解:
1)克隆远程仓库
2)添加远程仓库
3)从远程仓库抓取数据
4)远程仓库本地改名
5)删除远程仓库在本地的配置
6)远程分支
7)推送到远程仓库
8)删除远程分支
9)查看仓库信息...
分类:
其他好文 时间:
2014-06-22 20:15:18
阅读次数:
216
蓝牙4.0BLE cc2540 usb-dongle的抓取抓取数据方法 【原创,多图】
(只发布于csdn博客, 如需转载,请注明出处,谢谢! )
蓝牙4.0的开发, 现在真热火的很, 但是很多朋友买了我们出品的cc2540 usb-dongle后, 都反馈说不知道如何抓包, 并且, 即使很多朋友到TI官网论坛去找信息,不少朋友依然是无功而返,实际上, 用cc...
分类:
其他好文 时间:
2014-06-21 19:57:30
阅读次数:
330
前言我们时常会遇到一些 web 项目,需要从不同的数据源中抓取数据来进行分析,而这些数据源是有可能变化的,需要用户来进行动态的维护和添加。可是,大多数的 web 程序使用了应用服务器或者容器中间件来管理数据源的生命周期,因此数据源的变化自然不能够独立于程序,而需要由专业人士去进行维护,必要时还需要重...
分类:
编程语言 时间:
2014-06-18 15:48:11
阅读次数:
400