码迷,mamicode.com
首页 >  
搜索关键字:爬虫 数据处理    ( 15133个结果
树莓PI上跑爬虫
主要是进行主机上使用myeclipse开发后,在从机上跑最后的程序在主机上和树莓上都安装好java环境,maven,ant拷到RPI上的时候修改为拷贝到RPI上的目录结构mvn compileant -f spy1\build.xml clean build App
分类:其他好文   时间:2014-10-09 02:08:38    阅读次数:404
iOS开发入门教程_iOS开发视频教程
iOS开发入门教程 (Object-C、网络编程、多线程、蓝牙、二维码、Cocos2D、OpenGL)适合人群:初级课时数量:34课时用到技术:IOS,Object-C,OpenGL,XCode,Cocos 2D涉及项目:Cocos+2D、Game Kit蓝牙数据处理等咨询QQ:1840215592...
分类:移动开发   时间:2014-10-09 01:47:47    阅读次数:222
《SAS编程与数据挖掘商业案例》学习笔记之十九
继续《SAS编程与数据挖掘商业案例》学习笔记,本文侧重数据处理实践,包括:HASH对象、自定义format、以及功能强大的正则表达式 一:HASH对象 Hash对象又称散列表,是根据关键码值而直接进行访问的数据结构,是根据关键码值而直接进行访问的数据结构, sas提供了两个类来处理哈希表,用于存储数据的hash和用于遍历的hiter,hash类提供了查找、添加、修改、删除等方法,...
分类:其他好文   时间:2014-10-08 18:09:45    阅读次数:295
再论pyquery
发现对于QQ群空间文件的抓取毫无办法。QQ空间的代码可圈可点:做了一个js的“客户端”,第一次加载时,将文件的列表信息全部抓取出来,然后基于js进行翻页和排序。因此,想要抓取js渲染的dom,是不可能的,此处只能用js或者jq来操作了。对于这种情况,得用js写“爬虫”逻辑。附上qq空间群文件的抓取逻...
分类:其他好文   时间:2014-10-07 22:39:24    阅读次数:159
Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
本文转自:http://www.52nlp.cn/python-%E7%BD%91%E9%A1%B5%E7%88%AC%E8%99%AB-%E6%96%87%E6%9C%AC%E5%A4%84%E7%90%86-%E7%A7%91%E5%AD%A6%E8%AE%A1%E7%AE%97-%E6%9C%...
分类:编程语言   时间:2014-10-07 19:07:03    阅读次数:331
基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计
基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计        map/reduce是大数据处理的技术,它的思路是把大规模数据分成一个个小数据块,每个数据块由一个map任务来处理,处理的中间结果汇总到reduce,最后生成最终的处理结果,这个处理和汇总的过程是可以反复多次的,也就是map-reduce-map-reduce     基于map/redu...
分类:其他好文   时间:2014-10-06 13:19:00    阅读次数:127
mac下使用scrapy时出现的raise DistributionNotFound(req)异常的处理方法
在os x下,安装完python爬虫框架scrapy后,使用scrapy startproject tutorial新建scrapy项目时,出现以下问题:Traceback (most recent call last): File "/usr/local/bin/scrapy", line 5,....
分类:其他好文   时间:2014-10-06 12:32:50    阅读次数:412
Map<String, String>的数据处理以及ListView的适配器
Map map = new HashMap(); map.put("key1", "value1"); map.put("key2", "value2"); map.put("key3", "value3"); //第一种:普遍使用,二次取值 System.out.println(...
分类:其他好文   时间:2014-10-06 03:20:09    阅读次数:208
Scrapy爬虫 -- 03
关于数据过滤,scrapy提供xpath和css两种过滤器(selector),一般xpath使用的较多,另外我对css也不算熟。这里主要是xpath。 关于xpath,是一种专门在 XML 文档中查找信息的语言。详细教程可以看这里:http://ww...
分类:其他好文   时间:2014-10-06 01:42:49    阅读次数:366
[转]LCD之调色板
对于一个显示设备,数据的更新率正比于画面的像素数和色彩深度的乘积。在嵌入式Linux系统中,受处理器资源配置和运算能力的制约,当使用大分辨率显示时(如在一些屏幕尺寸较大的终端上,往往需要640×480以上),需要降低显示的色彩深度。否则,由于数据处理负担过重会造成画面的抖动和不连贯。这时,调色...
分类:其他好文   时间:2014-10-05 23:53:09    阅读次数:348
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!