码迷,mamicode.com
首页 >  
搜索关键字:爬虫 数据处理    ( 15133个结果
Python numpy数组扩展效率问题
Numpy库的ndarray数组可以方便地进行各种多维数据处理工作 可是它最大的缺点就是不可动态扩展——“NumPy的数组没有这种动态改变大小的功能,numpy.append()函数每次都会重新分配整个数组,并把原来的数组复制到新数组中。”(引用自http://blog.chinaunix.net/uid-23100982-id-3164530.html) 场景: 今天用nd...
分类:编程语言   时间:2014-07-24 23:13:13    阅读次数:345
Handler和Thread线程
大家都知道,在PC上的应用程序当需要进行一些复杂的数据操作,但不需要界面UI的时候,我们会为应用程序专门写一个线程去执行这些复杂的数据操作。通过线程,可以执行例如:数据处理、数据下载等比较耗时的操作,同时对用户的界面不会产生影响。在Android应用程序开发中,同样会遇到这样的问题。当我们需要访问网...
分类:编程语言   时间:2014-07-24 16:59:15    阅读次数:307
网页爬虫
/* 网页爬虫*/import java.io.*;import java.net.*;import java.util.regex.*;class RegexTest2{ public static void main(String[] args) throws Exception { getMa...
分类:Web程序   时间:2014-07-23 20:34:25    阅读次数:217
Android讲师
---讲师:王家林:Hadoop源码级专家,曾负责某知名公司的类Hadoop框架开发工作,专注于Hadoop一站式解决方案的提供,同时也是云计算分布式大数据处理的最早实践者之一,Hadoop的狂热爱好者,不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储,现在正负责Hadoop在搜索引...
分类:移动开发   时间:2014-07-23 20:21:15    阅读次数:404
线程死锁的思考
线程池中的死锁情况 这次死锁发生在什么情况下呢?在最开始写线程池的时候,我设计了线程是可重用的,主要是通过Event信号实现,通过在每个线程核心工作代码执行完毕后会将自己归还到池中,然后等待Event信号。主线程会以循环超时阻塞的方式监视一个任务队列,当发现有任务时便会从线程池中取出一个线程,并设置它的任务和目标函数,然后去start或者resume,resume就是会设置Event信号让线程不再阻塞,这里,从池中取线程的方法_get和归还线程方法returnThread都已经加锁,_get和return...
分类:编程语言   时间:2014-07-23 17:15:01    阅读次数:333
数据存储(三)--JSON数据处理
JSON是一种轻量级的数据交换格式,具有良好的可读和便于快速编写的特性,从而可以在不同平台间进行数据交换。JSON采用兼容性很高的文本格式,同时也具备类似于C语言体系的行为。JSON可以将Java对象转成json格式的字符串,可以将json字符串转换成Java。比XML更轻量级,Json使用起来比较轻便和简单。JSON数据格式,在Android中被广泛运用于客户端和服务器通信,在网络数据传输与解析...
分类:Web程序   时间:2014-07-23 17:14:51    阅读次数:242
Java广度优先爬虫示例(抓取复旦新闻信息)
一.使用的技术这个爬虫是近半个月前学习爬虫技术的一个小例子,比较简单,怕时间久了会忘,这里简单总结一下.主要用到的外部Jar包有HttpClient4.3.4,HtmlParser2.1,使用的开发工具(IDE)为intelij 13.1,Jar包管理工具为Maven,不习惯用intelij的同学,...
分类:编程语言   时间:2014-07-23 11:59:36    阅读次数:627
LED音乐频谱之输入数据处理
通过LED音乐频谱之输入数据处理对单片机的ADC和FFT算法进行分析,其中详细分析了采样时间和采样点数的选取等。...
分类:其他好文   时间:2014-07-23 00:12:57    阅读次数:528
python实现简单爬虫(二)---- 使用urllib等python模块
之前使用scrapy实现了一个超级简单的爬虫工具,用于抓取豆瓣上面所有的编程书籍信息(由于不需要爬取整个页面的所以链接,所以不需要用到BFS or DFS,只实现顺序抓取下一页) 这次使用的是python自带的urllib 和urllib2等python模块实现,同样以豆瓣上面的爱情电影信息作...
分类:编程语言   时间:2014-07-22 22:47:35    阅读次数:347
串口数据处理
using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.IO.Ports;using System.Runtime.CompilerServices;using Sy...
分类:其他好文   时间:2014-07-22 22:44:35    阅读次数:327
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!