码迷,mamicode.com
首页 >  
搜索关键字:爬虫 数据处理    ( 15133个结果
Java爬虫
1.昨天复习了Java基础(I/O流)和正则表达式 今天不讲Java中的 I/O 主要用一个实例来爬取网站中的邮箱代码如下: 1 package com.miao.baba.pacong; 2 3 import java.io.BufferedReader; 4 import java.io.IO....
分类:编程语言   时间:2014-05-29 05:11:03    阅读次数:404
使用node.js制作简易爬虫
最近看了些node.js方面的知识,就像拿它来做些什么。因为自己喜欢摄影,经常上蜂鸟网,所以寻思了一下,干脆做个简单的爬虫来扒论坛的帖子。直接上代码吧。 1 var sys = require("sys"), 2 http = require("http"), 3 fs = requ...
分类:Web程序   时间:2014-05-28 18:48:15    阅读次数:360
Windows Phone 8.1 数据处理
摘要:(1)Installation Folder;(2)ApplicationData;(3)Credential Locker;(4)Known Folders;(5)SD Card;(6)备注。
分类:Windows程序   时间:2014-05-28 16:48:55    阅读次数:452
Jquery调用从ashx文件返回的jsonp格式的数据处理实例
开发环境:vs2010+jquery-1.4.min.js解决问题:网上代码比较少,好多调试不通,返回数据不用json而用jsonp主要考虑解决跨域问题开发步骤:打开VS2010,新建一web站点,保存位置选择D:\Website1;添加新项,选择一般处理程序,命名cmdHandler.ashx;添...
分类:Web程序   时间:2014-05-28 09:21:49    阅读次数:509
网络爬虫(网络蜘蛛)之网页抓取
现在有越来越多的人热衷于做网络爬虫(网络蜘蛛),也有越来越多的地方需要网络爬虫,比如搜索引擎、资讯采集、舆情监测等等,诸如此类。网络爬虫涉及到的技术(算法/策略)广而复杂,如网页获取、网页跟踪、网页分析、网页搜索、网页评级和结构/非结构化数据抽取以及后期更细粒度的数据挖掘等方方面面,对于新手来说,不...
分类:Web程序   时间:2014-05-26 05:54:50    阅读次数:393
Python]网络爬虫
Originated From:http://blog.csdn.net/pi9nc/article/details/9734437#comments[Python]网络爬虫(一):抓取网页的含义和URL基本构成一、网络爬虫的定义网络爬虫,即Web Spider,是一个很形象的名字。把互联网比喻成一...
分类:编程语言   时间:2014-05-25 23:58:31    阅读次数:584
python实现图片爬虫
#encoding:utf-8 import sys reload(sys) sys.setdefaultencoding('utf8') from sgmllib import SGMLParser import re import urllib class URLLister(SGMLParser): def start_a(self, attrs): url = [v ...
分类:编程语言   时间:2014-05-25 22:47:56    阅读次数:340
python3简单爬虫
最近在抽空学了一下python,于量就拿爬是练了下手,不得不说python的上手非常简单。在网上找了一下,大都是python2的帖子,于是随手写了个python3的。代码非常简单就不解释了,直接贴代码。#test rdpimport urllib.requestimport re#登录用的帐户信息d...
分类:编程语言   时间:2014-05-25 22:07:34    阅读次数:449
Oracle的pipelined函数实现高性能大数据处理
在plsql开发中,会涉及到一些大数据量表的数据处理,如将某记录数超亿的表的记录经过处理转换插入到另外一张或几张表。常规的操作方法固然可以实现,但时间、磁盘IO、redo日志等等都非常大。Oracle 提供了一种高级函数,可以将这种数据处理的性能提升到极限。这种函数称为管道函数。在实际项目中,管道函...
分类:数据库   时间:2014-05-25 15:05:26    阅读次数:413
大数据处理——Hadoop解析(一)
概述这个时代被称之为大数据时代,各行各业生产的数据量呈现爆发性增长,并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此,我们可以很容易的感觉到,在这样一个大数据的时代,我们很多做事情的方法正在发生了改变。例如,基于大数据分析可以做疾病预测控制;基于..
分类:其他好文   时间:2014-05-25 08:25:49    阅读次数:620
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!