码迷,mamicode.com
首页 >  
搜索关键字:爬虫 数据处理    ( 15133个结果
2013年十大免费云空间排行榜-给开发者建站用的免费云主机
云空间也可以叫做云平台,是以云计算技术而开发的网络服务平台,云计算平台可以划分为3类:以数据存储为主的存储型云平台,以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。云空间与传统的虚拟主机相比有非常大的不同,主要表现在空间管理方法、代码运行方式和应用开发等方面有非常大的不同,很...
分类:其他好文   时间:2014-11-11 14:09:33    阅读次数:252
DBUtil用法之ResultSetHandler 和 QueryRunner总结
ResultSetHandler和QueryRunnerResultSetHandler是用来简化查询到的数据处理的.ResultSetHandler的实现方法可以不用创建实例对象去封装就能打印出来查询到的全部数据.通过:ArrayHandler:把结果集中的第一行数据转成对象数组。ArrayListHandler:把结果集中的每一行数据都转成..
分类:数据库   时间:2014-11-11 02:07:21    阅读次数:206
python爬虫----(scrapy框架提高(1),自定义Request爬取)
最近看scrappy0.24官方文档看的正心烦的时候,意外发现中文翻译0.24文档,简直是福利呀~ http://scrapy-chs.readthedocs.org/zh_CN/0.24/ ????结合官方文档例子,简单整理一下: import?scrapy from...
分类:编程语言   时间:2014-11-10 18:17:09    阅读次数:251
Hadoop实现全排序
1、1TB(或1分钟)排序的冠军? 作为分布式数据处理的框架,集群的数据处理能力究竟有多快?或许1TB排序可以作为衡量的标准之一。? 1TB排序,就是对1TB(1024GB,大约100亿行数据)的数据进行排序。2008年,Had...
分类:编程语言   时间:2014-11-10 12:15:04    阅读次数:261
Web漏洞扫描器-UNISCAN 6.2发布
UNISCAN是老外写的一款基于Perl编写的web漏洞扫描器,目前版本为6.2。UNISCAN特点:通过爬虫识别网站页面多线程可控制线程的最大数量可控制爬虫爬取的页面可忽略指定文件扩展名可设置GET、POST方式支持SSL支持代理支持google搜索的站点列表支持bing搜索的站点列表支持扩展插件..
分类:Web程序   时间:2014-11-10 01:19:16    阅读次数:198
TeamWork#3,Week5,Scrum Meeting 11.9
由于经验不足和储备知识不够,最近我们的项目遇到了一些技术问题,需要对项目进行重新计划。我们总结了经验教训,找出了问题所在,明确了要补充的知识,加紧学习,将会在一周之内解决相关问题。成员已完成待完成彭林江爬虫因技术问题正在补充相关知识更换爬虫结构郝倩爬虫因技术问题正在补充相关知识更换爬虫结构高雅智管理...
分类:其他好文   时间:2014-11-09 23:37:08    阅读次数:249
MMORPG大型游戏设计与开发(构架)
游戏整体是以经典的武侠世界/天龙八部作为基本的一种设计模式,大致分为以下几个部分。 游戏的简单的一次处理流程如下,不过有些凌乱,还有待完善。 程序设计方面,服务器基本上分为数据处理、日志、网络等模块,客户端分为UI、场景、动作等模块。客户端选择的开源引擎OGRE+CEGUI。
分类:其他好文   时间:2014-11-09 11:08:31    阅读次数:187
Google的分布式计算模型Map Reduce map函数将输入分割成key/value对
http://www.nowamagic.net/librarys/veda/detail/1768上一篇大规模分布式数据处理平台Hadoop的介绍中提到了Google的分布式计算模型Map Reduce,这里再单独拿出来了解一下。并行计算简介计算机的早期阶段,程序都是serial(连续的),类似于...
分类:其他好文   时间:2014-11-09 11:07:45    阅读次数:227
Ajax的工作流程简述
提到Ajax相信我们都不会陌生,不管你是前端开发还是后台数据处理的程序员,ajax的作用就像现在生活中的手机一样,无论是作用还是流程都差不多,这里我们要进行ajax操作后台数据并显示在页面上的话,首先我们这里才用原生态的ajax去实现,第一步要做的就是首先我们得有一个ajax才行,紧接着还得清楚.....
分类:Web程序   时间:2014-11-08 23:29:48    阅读次数:299
Ajax学习(三)——XMLHttpRequest对象的五步使用法
Ajax的核心技术是XMLHttpRequest对象,它可以在不向服务器提交整个页面的情况下,实现局部更新网页。当页面全部加载完毕后,客户端通过该对象向服务器请求数据,服务器端接受数据并处理后向客户端反馈数据。有了这个对象,Ajax可以像桌面应用程序那样只与服务器进行数据层的交换,而不必每次都刷新界面,也不必每次将数据处理的工作都交给服务器来做。这样既减轻了服务器负担又提高了响应速度,还缩短了用户...
分类:Web程序   时间:2014-11-08 22:11:32    阅读次数:200
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!