码迷,mamicode.com
首页 >  
搜索关键字:爬虫 数据处理    ( 15133个结果
【转载】FPGA重要设计思想
1.速度和面积互换原则。。以面积换速度可以实现很高的数据吞吐率,其实串/并转换、就是一种以面积换速度的思想2.乒乓操作3.串/并转换的思想。高速数据处理的重要技巧之一。这里我来举一个多相滤波器抽取的例子:抽取之后,两路数据以二分频的速度进行处理即可4.流水线设计(在fir滤波器中表现很突出,一个时钟...
分类:其他好文   时间:2014-10-29 12:23:06    阅读次数:198
网页解析正则表达式
在写爬虫的过程中,最麻烦的就是写正则表达式,还要一个一个的尝试,一次次的调试,很是费时间。于是我就写了一个网页版的,只需要输入要爬的网址,和正则式,网页上就可以显示爬到的数据。 思路:其实很简单,将网址和正则式传到服务器,服务器解析之后,将结果返回到前端。我用的是bootcss(前端)+bottle(后台用python处理),代码很简单,就是过程有些复杂。由于传递的参数是一个网址,而后台判断参数...
分类:Web程序   时间:2014-10-29 10:55:52    阅读次数:239
sql中数据处理:
一.添加新数据! 插入单行记录 1.create table box( name varchar(30) not null, id int not null primary key, student varchar(20), gender char(2) default 0 comment ...
分类:数据库   时间:2014-10-29 01:52:39    阅读次数:184
豆瓣电影搜索爬虫程序,爬虫小程序,适合初学者
最近在学python,之前用Python写过简单的图片爬取,今天想着用python爬一下豆瓣的电影,就有了下面的程序: #coding:utf-8 import re import sys import urllib from bs4 import BeautifulSoup def movieSearch(): douBanSearchurl = "http://movie.douban.c...
分类:其他好文   时间:2014-10-29 00:26:07    阅读次数:254
YII 数据处理DAO
Yii框架对数据处理可以通过两种方式:AR、DAO(数据处理对象) 前者主要是对简单sql语句处理 后者才是处理复杂sql语句   两种使用的基础是PDO,php data  object   : php数据对象 PDO就是为了兼容php处理各种数据库(mysql  oracle  sqlserver等等) 我们定义一条sql语句就可以 在mysql、oracle、sqlserver不...
分类:其他好文   时间:2014-10-29 00:21:38    阅读次数:265
XMLHttpRequest对象
1.XMLHttpRequest对象          (1)XMLHttpRequest是XMLHTTP组件的对象,通过这个对象,AJAX可以像桌面应用程序一样只同服务器进行数据层面的交换,而不用每次都刷新界面,也不用每次将数据处理的工作都交给服务器来做;这样既减轻了服务器负担又加快了响应速度、缩短了用户等待的时间。        (2)XMLHttpRequest最早是在IE5中以Acti...
分类:Web程序   时间:2014-10-28 21:46:29    阅读次数:332
CRL开发框架发布了,一款面向对象的ORM框架
CRL是一个面向对象的轻便型ORM业务框架数据处理使用了对象/数据映射,条件查询采用Lambda表达式来表示,增加了可编程性和可靠性,出错机率低,同时也能用原生的SQL实现查询或操作数据连接以编程方式进行配置,支持多个库,参见Global.asax中实现,首次使用请更改LocalSqlHelper....
分类:其他好文   时间:2014-10-28 17:02:00    阅读次数:194
【网络大数据】移动互联网大数据告诉你:时间都去哪了?
大数据分析_大数据处理_大数据技术_云计算_网络数据与科学网络大数据(www.raincent.com)整合了大数据分析,大数据处理,大数据技术,云计算为一体,力争打造国内数一数二的网络数据处理平台。互联网和手机无疑是现代社会最伟大的发明。当两者结合后,整个世界出现了翻天覆地的变化,人们的生活习惯已...
分类:移动开发   时间:2014-10-28 15:22:21    阅读次数:240
利用jsoup爬取百度网盘资源分享连接(多线程)
用jsoup抓取百度网盘资源链接,并用java实现多线程抓取,提高效率...
分类:编程语言   时间:2014-10-28 10:26:17    阅读次数:299
第九章:图论和网络爬虫
上面我们谈了在搜索引擎中,如何建立索引,这里,我们讲如何自动下载互联网上所有的网页,重点就是图论中的遍历算法。 1.图论和网络爬虫 遍历算法主要有两种,一种是深度优先遍历,一种是广度优先遍历。所谓深度优先遍历,就是从一个节点开始,一直沿着一条路走到底,直到没路了,再回过头去找别的路,再一路走...
分类:其他好文   时间:2014-10-27 22:54:08    阅读次数:253
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!