由于项目需要，写了版针对业务的自动化测试代码，主要应用场景在于由于业务日趋复杂，一些公共代码的改动，担心会影响已有业务。还没进行重写，但知识点还是不少的与大家分享实践下。首先，介绍下整个流处理的业务流程。 首先 从网管实时接入数据到kafka，然后消息接入 进行预处理（这个过程是通过jetty框架， ...
分类：
其他好文 时间：
2016-08-13 12:34:52
阅读次数：
375
WSE3.0框架提供了数据优化传输机制，WSE3.0构建Web服务安全(4):MTOM消息传输优化和文件上传、下载 疑问里进行了介绍。WCF同样也提供了流操作来支持大数据对象的传输和处理优化机制，今天我们WCF分布式开发步步为赢系列的(4):使用流操作（Streaming Operations）优化 ...
分类：
其他好文 时间：
2016-08-09 12:10:27
阅读次数：
310
课程回顾： 流：转换流：字符和字节的转换对象流(Object)：序列化，反序列化 打印流(Print)：打印各种数据类型的数据 今日内容：数据流(Data)：支持将基本数据类型写出，字节流，处理流1、DataOutputStream:数据输出字节流常用方法：writeXXX:写出基本数据类型的数据w ...
分类：
数据库 时间：
2016-08-06 20:31:45
阅读次数：
174
AMPLab 将大数据分析负载分为三大类型：批量数据处理、交互式查询、实时流处理。而其中很重要的一环便是交互式查询。 大数据分析栈中需要满足用户 ad-hoc、reporting、 iterative 等类型的查询需求，也需要提供 SQL 接口来兼容原有数据库用户的使用习惯，同时也需要 SQL 能够 ...
分类：
数据库 时间：
2016-08-01 12:19:29
阅读次数：
190
问题链接：POJ2538 ZOJ1884 UVA10082 WERTYU。入门练习级题，用C语言编写程序。
这个问题是有关输入输出流处理和字符转换问题。将键盘上的字符放在数组中备查可以省去许多程序逻辑。
做了一个函数convert()封装字符转换功能，可以简化主函数的逻辑。
AC的C语言程序如下：
/* POJ2538 ZOJ1884 UVA10082 WERTYU */
#in...
分类：
其他好文 时间：
2016-07-29 15:40:05
阅读次数：
183
定义 问题开始之前先解释下流处理中的一些概念： At most once - 每条数据最多被处理一次（0次或1次） At least once - 每条数据最少被处理一次 (1次或更多) Exactly once - 每条数据只会被处理一次（没有数据会丢失，并且没有数据会被多次处理） At most ...
分类：
其他好文 时间：
2016-07-28 14:16:46
阅读次数：
278
最近经常查看nginx日志，有时候需要做一些统计分析，于是就想起了awk，学习了就顺便做一个记录。 目录 概述：简单介绍awk背景原理 基本用法：常用到的awk语法 内建变量 综合实例 概述 awk是创始人Aho, Kernighan and Weinberger的首字母简写，是一个基于列的流处理工 ...
分类：
系统相关 时间：
2016-07-23 13:43:18
阅读次数：
302
Spart是什么 Spart是一个用来实现快速而而通用的集群计算平台。 在速度方面，Spart扩展了广泛使用的Mapreduce计算模型，而且高效的支持更多的计算模式，包括交互式查询和流处理。Spart的一个主要特点是能够在内存中进行计算，因而更快。即使必须在硬盘上进行复杂计算，Spart依然比Ma ...
分类：
其他好文 时间：
2016-07-22 16:09:19
阅读次数：
129
最近学习了storm的一些基础知识，感觉storm是一个非常强大的实时流处理系统。对其进行简要介绍如下：STORM
1.什么是storm
Storm是一个开源的，分布式的，可靠的，实时数据流处理系统。类比Hadoop对数据进行批处理，storm对数据进行实时处理。
2.storm的应用场景
Storm的处理速度快吞吐量大，根据Storm官方网站的资料介绍，Storm的一个节点（Intel E...
分类：
其他好文 时间：
2016-07-20 06:42:13
阅读次数：
184
Twitter已经用Heron完全替换了Storm。前者现在每天处理“数10TB的数据，生成数10亿输出元组”，在一个标准的单词计数测试中，“吞吐量提升了6到14倍，元组延迟降低到了原来的五到十分之一”，硬件减少了2/3。
本文对Heron的介绍摘要如下:
Storm worker架构的限制:
Worker的设计比较复杂. 大量的instances都在一个worker进程里面....
分类：
其他好文 时间：
2016-07-15 21:29:26
阅读次数：
250
