码迷,mamicode.com
首页 >  
搜索关键字:爬虫 数据处理    ( 15133个结果
python实现爬虫(一)--- Scrapy框架抓取豆瓣书籍信息
Scrapy是一个用python实现都爬虫框架,简单易用,功能强大,只需要在框架的基础上自定义自己的分析规则即可,具体如何新建工程等待都在官方文档上面讲解得非常清楚,官方文档tutorial(http://doc.scrapy.org/en/latest/intro/tutorial.html).....
分类:编程语言   时间:2014-07-22 22:50:15    阅读次数:307
ThinkPHP学习笔记 事务处理
事务处理是数据库数据处理中经常用到的一个功能,特别是商务之类的应用,比如a给b打了钱,数据库中a的钱数应该减少,b的钱数应该增加, 若a数据操作成功,而b的数据因某些原因操作失败,这...
分类:Web程序   时间:2014-07-21 10:22:24    阅读次数:294
正则表达式--——网页爬虫
网页爬虫importjava.net.*; importjava.io.*; importjava.util.regex.*; classfindMail { publicstaticvoidmain(String[]args)throwsException { //读取流关联文件 //BufferedReaderbin=newBufferedReader(newFileReader("mail.txt")); //获取网页上的数据需要获取输入..
分类:Web程序   时间:2014-07-20 15:16:41    阅读次数:217
Scrapy源码分析-常用的爬虫类-CrawlSpider(三)
CrawlSpider-爬取一般网站常用的spider。其定义了一些规则(rule)来提供跟进link的方便的机制。 也许该spider并不是完全适合您的特定网站或项目,但其对很多情况都使用。 因此您可以以其为起点,根据需求修改部分方法。当然您也可以实现自己的spider。...
分类:其他好文   时间:2014-07-20 10:18:09    阅读次数:225
mechanize (1)
最近看的关于网络爬虫和模拟登陆的资料,发现有这样一个包mechanize ['mek?.na?z]又称为机械化的意思,确实文如其意,确实有自动化的意思。mechanize.Browser and mechanize.UserAgentBase implement the interface of u...
分类:其他好文   时间:2014-07-20 10:13:11    阅读次数:213
数据采集类
爬虫,又称蜘蛛,是从别的网站抓取资源的一种方法,C#.NET使用爬虫的方法如下:protected string GetPageHtml(string url){string pageinfo;try{WebRequest myreq = WebRequest.Create(url);WebResp...
分类:其他好文   时间:2014-07-19 18:15:25    阅读次数:180
抓取scrapy中文文档 第一个Scrapy项目实现
使用Scrapy这个python的网络爬虫框架抓取Scrapy中文文档开发第一步:新建项目scrapy startproject myfirst目录结构:myfirst│ scrapy.cfg Scrapy项目配置文件│└─myfirst Scrapy项目代码存放目...
分类:其他好文   时间:2014-07-19 16:00:43    阅读次数:207
关于handler返回的数据处理
1、通过append方法输出数据到页面/***************************根据企业ID获取企业信息*********************/OBJindexPage.GetNewQiYeInfo = function () { $.getJSON("/Qiye/handl...
分类:其他好文   时间:2014-07-19 15:19:18    阅读次数:302
Scrapy学习笔记
所谓网络爬虫,就是一个在网上到处或定向抓取数据的程序,当然,这种说法不够专业,更专业的描述就是,抓取特定网站网页的HTML数据。不过由于一个网站的网页很多,而我们又不可能事先知道所有网页的URL地址,所以,如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了。一般的方法是,定义一个入口...
分类:其他好文   时间:2014-07-19 15:13:58    阅读次数:241
ARM指令集的概述
ADC  addition Carry 带进位的加法指令   数据处理类算术运算指令 ADD addition 加法指令 数据处理类算术运算指令 AND logic and 逻辑与 数据处理类算术运算指令 B Branch B 是最简单的分支。一旦遇到一个 B 指令,ARM 处理器将立即跳转到给定的地址,从那里继续执行。注意存储在分支指令中的实际的值是相对当前的 R15 的值的一...
分类:其他好文   时间:2014-07-19 11:43:44    阅读次数:255
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!