码迷,mamicode.com
首页 >  
搜索关键字:爬虫 数据处理    ( 15133个结果
ARM汇编指令集
ARM处理器的指令集可以分为跳转指令、数据处理指令、程序状态寄存器(PSR)处理指令、加载/存储指令、协处理器指令和异常产生指令6大指令。一、跳转指令跳转指令用于实现程序流程的跳转,在ARM程序中有以下两种方法可以实现程序流程的跳转。Ⅰ.使用专门的跳转指令;Ⅱ.直接向程序计数器PC写入跳转地址值,通...
分类:其他好文   时间:2014-11-17 11:58:56    阅读次数:209
TeamWork#3,Week5,Scrum Meeting 11.16
到目前为止各方面工作已经基本完成,爬虫程序也调整完毕,正在等待全部整合。成员已完成待完成彭林江完成爬虫结构调整新爬虫与服务器连接郝倩完成爬虫结构调整新爬虫与服务器连接高雅智重定位人力资源和计划更新,管理任务进度牛强爬虫性能测试等待测试服务器与爬虫的连接性能王卓完成了UI进一步改善UI友好度和用户体验...
分类:其他好文   时间:2014-11-17 10:32:17    阅读次数:195
Python 爬虫网页抓图保存
网站选择桌面壁纸网站的汽车主题: 下面的两个print在调试时打开 #print tag #print attrs #!/usr/bin/env python import re import urllib2 import HTMLParser base = "http://desk.zol.com.cn" path = '/home/mk/cars/' star = '' def get_...
分类:编程语言   时间:2014-11-16 23:07:13    阅读次数:387
SharePoint BI 学习系列一OLTP和OLAP简介
数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库...
分类:其他好文   时间:2014-11-16 21:35:30    阅读次数:306
TeamWork#3,Week5,Scrum Meeting 11.6, 11.7, 11.11, 11.12
11.6:到目前为止基本已完成相关知识的学习,各方面工作都开始进行,一开始进行比较慢。11.7:项目遇到困难,需要补充相关知识,进度慢了下来。11.11:各方面工作进展比较顺利,没有什么大问题。11.12:爬虫程序出现问题,没有考虑到网站信息更新导致的爬虫程序可变性,下一步要更换爬虫结构。同时进行U...
分类:其他好文   时间:2014-11-16 07:01:44    阅读次数:164
TeamWork#3,Week5,Scrum Meeting 11.15
经过最近一段时间的努力,我们调整了爬虫结构,并在继续进行爬虫开发,马上可以进行新爬虫与服务器连接的测试。成员已完成待完成彭林江基本完成爬虫结构调整新爬虫与服务器连接郝倩基本完成爬虫结构调整新爬虫与服务器连接高雅智重定位人力资源和计划更新,就爬虫部分与同学讨论并尝试更换爬虫结构管理任务进度,按计划重定...
分类:其他好文   时间:2014-11-15 21:45:40    阅读次数:193
java Map 之 排序(key,value)
一:起因: (1)现实中需要Map容器进行排序的情况很多很多:因为Map键值对的存储结构特别是HashMap的结构是非常优秀的,数据存储就难免对其进行排序; (2)数据处理,只要用到映射关系的,离不开Map,这在数据处理中是非常实用的,而排序是对数据的进一步处理; (3)Map排序的方式有很多种,两种比较常用的方式:按键排序(sort by key), 按值排序(sort by value)...
分类:编程语言   时间:2014-11-15 18:51:41    阅读次数:251
JavaWeb学习总结(三十五)——使用JDBC处理Oracle大数据
一、Oracle中大数据处理 在Oracle中,LOB(Large Object,大型对象)类型的字段现在用得越来越多了。因为这种类型的字段,容量大(最多能容纳4GB的数据),且一个表中可以有多个这种类型的字段,很灵活,适用于数据 量非常大的业务领域(如图象、档案等)。 LOB类型分为BLOB和.....
分类:数据库   时间:2014-11-15 16:44:54    阅读次数:363
TeamWork#3,Week5,Scrum Meeting 11.14
根据最近项目出现的问题,我们明确了需要补充的工作,添加了几项任务。成员已完成待完成彭林江由于网站信息更新,正在调整爬虫程序结构更换爬虫结构郝倩由于网站信息更新,正在调整爬虫程序结构更换爬虫结构高雅智重定位人力资源和计划更新,就爬虫部分与同学讨论并尝试更换爬虫结构管理任务进度,按计划重定位任务牛强因爬...
分类:其他好文   时间:2014-11-15 01:23:21    阅读次数:281
如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求?
本文提供了一种准确判断请求是否是搜索引擎发出请求的方法,非通过UserAgent判断,提供了Python实现判断的核心代码,和一个web工具!提供了常见搜索引擎蜘蛛的IP段,快速判断可以通过IP段判断
分类:其他好文   时间:2014-11-15 00:01:19    阅读次数:196
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!