在数据流处理中的一个常见问题就是数据采样问题。我们希望从流中选择一个子集,以便能够对它进行查询并给出统计性上对整个流具有代表性的结果。
一、蓄水池采样
具体问题是我们要从数据流中随机抽取k个元素。如果数据流长度m事先已经知道,那这个问题就非常简单,每个元素以k/m的概率选取即可。但这个问题要求m未知,那就不太好搞了。这个问题的解法是保存一个k大小的窗口。数据流的前k个元素依次加入到窗口。对于数...
分类:
其他好文 时间:
2015-05-21 09:14:43
阅读次数:
137
现实世界中我们总要处理不同的数据源:字节数组。String对象文件。“管道”,工作方式与实际管道相似。一个有其他种类组成的序列。其他数据源,如Interent连接等。 --From 《Java编程思想》对于以上的数据源,Java io都提供了相对应的流处理类,如读取文件数据源FileInputStr...
分类:
编程语言 时间:
2015-05-16 18:00:34
阅读次数:
173
一、所用到的流处理函数:fstream:可同时进行读写操作的文件类;或ofstream:写操作(从内存中读数据到文件)的文件类;ifstream:读操作(从文件读数据到内存)的文件类。二、位图文件的格式: ① 位图文件头,所用结构体:BITMAPFILEHEADER,占14个字节 ② 位图信息头,所...
分类:
其他好文 时间:
2015-05-15 01:17:52
阅读次数:
169
我们知道Java中的流分为字符流和字节流,其中字符流主要针对字符文本进行处理,而字节流处理范围更为广泛,毕竟图片、电影等只要是文件都是以二进制的形式存在的,而不是字符。
字符流:
FileReader
FileWriter。
BufferedReader
BufferedWriter
字节流:
FileInputStream
FileOutputStream...
分类:
编程语言 时间:
2015-05-10 15:51:44
阅读次数:
163
问题描述 有n个小朋友围坐成一圈。老师给每个小朋友随机发偶数个糖果,然后进行下面的游戏: 每个小朋友都把自己的糖果分一半给左手边的孩子。 一轮分糖后,拥有奇数颗糖的孩子由老师补给1个糖果,从而变成偶数。 反复进行这个游戏,直到所有小朋友的糖果数都相同为止。 你的任务是预测在已知的初始糖果情...
分类:
其他好文 时间:
2015-05-05 18:44:34
阅读次数:
189
using System;using System.Collections.Generic;using System.Data;using System.Data.SqlClient;using System.Linq;using System.Text;using System.Threading...
分类:
其他好文 时间:
2015-04-29 16:44:53
阅读次数:
103
最近在浏览某篇有关事件流的文章时,里面提到了数据的流处理,兴趣来了,就想看看能否在Android端实现一个。 根据文章的介绍,将每次数据的变更事件,像是插入,删除或者更新等,记为一个不可变的事件,让数据在事件中流淌,而不是对数据库进行破坏性的写入,也就是说,直接读取数据的聚合结果就能获取最...
分类:
移动开发 时间:
2015-04-21 01:36:00
阅读次数:
174
一.简介BOM(Byte Order Mark)---字节顺序标记。 类似WINDOWS自带的记事本等软件,在保存一个以UTF-8编码的文件时,会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。它是一串隐藏的字符,用于让记事本等编辑器识别这个文件是否以UTF-8编码....
分类:
编程语言 时间:
2015-04-18 19:00:12
阅读次数:
126
使用MapReduce import java.io.IOException; // 是hadoop针对流处理优化的类型 import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Long...
分类:
其他好文 时间:
2015-04-05 10:30:27
阅读次数:
172
使用MapReduce import java.io.IOException; // 是hadoop针对流处理优化的类型 import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Long...
分类:
其他好文 时间:
2015-04-03 22:28:46
阅读次数:
206