准备工作：本次采用的环境是centos6.5默认Linux没有安装tcpdump我们需要安装1）yuminstalltcpdump-y2)如果忘记了这个软件的用法，我们可以使用tcpdump--help来查看一下使用方法3)一般我们的服务器里边只有一个网卡，使用tcpdump可以直接抓取数据包，但是这样查看太麻烦了，所以..
分类：
其他好文 时间：
2017-05-16 23:20:13
阅读次数：
220
引言 上篇给大家介绍了Python爬虫索要爬去的源网站及所需的软件，本篇开始，将正式的开始爬取数据。 二、爬虫利器 Beautiful Soup 1、简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。 2、安装 Beautiful Soup 然后需要安装 l ...
分类：
其他好文 时间：
2017-05-09 14:59:13
阅读次数：
246
1、解析包名数据文件（txt文件），并生成包名数组： 2、抓取数据，生成图标文件（基于魅族应用商店）： 生成图标文件（基于应用宝）： 包名数据（meizu.txt）： 本文只是提供一个思路，你可以根据自己的需求进一步开发，比如获取下载量等…… ...
分类：
编程语言 时间：
2017-05-09 00:45:42
阅读次数：
2928
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面 ...
分类：
其他好文 时间：
2017-05-07 11:37:23
阅读次数：
191
最近由于项目的需要，需要做数据抓取，也就是用的curl相关的函数库，在这之前还真心没有接触过这么高大上的东西，然后从刚开始到今天才研究curl算是第四天了，写这篇博客记录一下这几天的一个过程，在使用curl模拟登陆抓取数据过程中需要注意的一些事项，以及介绍一款支持跨平台(windows、linux、 ...
分类：
Web程序 时间：
2017-05-05 19:28:07
阅读次数：
376
在日常开发工作中，有时候我们需要去一些网站上抓取数据，要想抓取数据，就必须先了解网页结构，根据具体的网页结构，编写对应的程序对数据进行采集。最近刚好有一个需求，需要更新收货地址。由于系统现有的收货地址是很早以前的数据了，用户在使用的过程中反映找不到用户所在地的地址信息，因此对现有地址数据的更新也就提... ...
分类：
Web程序 时间：
2017-05-04 14:36:18
阅读次数：
229
https://www.github.com/xiyouMc 首先今天要讲的是针对Drcom查询账户URL的解析和抓取数据。 Drcom是大学生宿舍上网普遍使用的联网client，然而对于自己账号的信息查询和改动password等都没有提供一个合理的方式去解决，因此小弟尝试去编写实现移动端的 app ...
分类：
其他好文 时间：
2017-04-29 23:29:49
阅读次数：
987
现有两个git仓库ekt_zy、ekt_zijian，需要把ekt_zijian项目中的代码合并到ekt_zy项目中。 1 将ekt_zijian作为远程仓库、添加到ekt_zy中，设置别名为zijian git remote add zijian ../ekt_zijian/ 2 从ekt_zij ...
分类：
其他好文 时间：
2017-04-26 11:02:41
阅读次数：
139
?? IP协议具体解释 本文主要介绍了IP服务特点，头部结构，IP分片知识，并用tcpdump抓取数据包。来观察IP数据报传送过程中IP的格式，以及分片的过程。 IP头部信息：IP头部信息出如今每一个IP数据报中，用于指定IP通信的源端IP地址、目的端IP地址，指导IP分片和重组。 IP数据报的路由 ...
分类：
其他好文 时间：
2017-04-18 14:23:14
阅读次数：
667
【转】 C# 从需要登录的网站上抓取数据 背景：昨天一个学金融的同学让我帮她从一个网站上抓取数据，然后导出到excel，粗略看了下有1000+条记录，人工统计的话确实不可能。虽说不会，但作为一个学计算机的，我还是厚着脸皮答应了。 。 刚开始想的是直接发送GET请求，然后再解析返回的html不就可以获 ...
