使用scrapy制作的小说爬虫爬虫配套的django网站 https://www.zybuluo.com/xuemy268/note/63660首先是安装scrapy，在Windows下的安装比较麻烦，大家好好百度下，这里就不细说了，在ubuntu下的安装apt-get install python...
分类：
其他好文 时间：
2015-01-16 16:08:56
阅读次数：
266
原文:经典算法题每日演练——第九题 优先队列 前端时间玩小爬虫的时候，我把url都是放在内存队列里面的，有时我们在抓取url的时候，通过LCS之类的相似度比较，发现某些url是很重要的，
需要后端解析服务器优先处理，针对这种优先级比较大的url，普通的队列还是苦逼的在做FIFO操作，现在我们的需求就...
分类：
编程语言 时间：
2015-01-16 12:49:24
阅读次数：
293
一、需求： 向某个服务发起请求获取数据，如：爬虫，采集。二、步骤（HttpWebRequest)：无非在客户端Client（即程序）设置请求报文（如：Method,Content-Type,Agent,Cookie以及请求参数等信息）向服务端Server发送请求，服务端响应数据。三、源码简介：①.....
1．引言1.1编写目的将之前会议中记录的设计要点进行总结和规划，供团队内开发者和测试人员进行代码编写与测试。1.2项目背景 软件名: 网络资源收集工具本软件任务:为下一组元数据抽取和整理工具进行对接，为下一组提供其所需的各类海量数据。2．任务概述2.1目标总的目标是编写一个更快捷，更稳定的爬虫软件，...
分类：
其他好文 时间：
2015-01-15 07:02:17
阅读次数：
178
1、产品概述本产品是学霸软件系统的爬虫部分，由NEWBE团队负责。主要任务是从网上爬取出相关数据后提供给C705组使用。2、产品的发展经历2.1 产品的发展经历描述产品的生命周期 \产品的更新换代策略以及产品的中长期发展规划，制定产品的发展蓝图。描述产品的一些突出优点，这些描述可成为产品将来的卖点，...
分类：
其他好文 时间：
2015-01-15 07:01:55
阅读次数：
189
在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。 我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度。好吧～！.....
分类：
编程语言 时间：
2015-01-15 07:01:44
阅读次数：
262
看了几天的nodejs，的确是好用，全当是练手了，就写了一个爬虫工具。爬虫思路都是一致的，先抓取页面数据，然后分析页面，获取到所需要的数据，最后获得这些数据，是写入到硬盘，还是显示到网页，自己看着办。其中最难的是分析页面，如果不用其他工具，那就只能用正则表达式来分析了。这里采用cheerio这个模块...
分类：
Web程序 时间：
2015-01-14 14:04:45
阅读次数：
136
设想和目标1.我们的软件要解决什么问题？是否定义得很清楚？是否对典型用户和典型场景有清晰的描述？ 在M1阶段我们基本实现了餐站app的基本功能。在M2阶段我们主要是修复M1阶段的BUG，优化网络爬虫2.是否有充足的时间来做计划? 用于计划的时间还算比较充足。3.团队在计划阶段是如何解决同事们对于.....
分类：
其他好文 时间：
2015-01-14 12:28:15
阅读次数：
147
转自:http://www.lanceyan.com/tech/arch/snscrawler.html随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在...
分类：
其他好文 时间：
2015-01-13 21:31:53
阅读次数：
221
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2015-01-13 15:50:17
阅读次数：
216
