Kafka 由LinkedIn于2010年12月(https://thenewstack.io/streaming-data-at-linkedin-apache-kafka-reaches-1-1-trillion-messages-per-day/)开源出来一个消息的发布/订阅系统，用scala ...
分类：
Web程序 时间：
2017-02-25 19:56:27
阅读次数：
479
Cattell [6] maintains a great summary about existing Scalable SQL and NoSQL data stores. Hu [18] contributed another great summary for streaming datab ...
分类：
数据库 时间：
2017-02-23 15:39:21
阅读次数：
282
0. 前端自动化(Workflow) 前端构建工具 Yeoman – a set of tools for automating development workflow gulp – The streaming build system grunt – the JavaScript Task Ru ...
分类：
其他好文 时间：
2017-02-20 11:29:23
阅读次数：
316
Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍 http://www.cnblogs.com/shishanyuan/p/4747735.html 1、Spark Streaming简介 1.1 概述 Spark Streami ...
分类：
其他好文 时间：
2017-02-17 18:03:15
阅读次数：
252
当我们正确地部署好Spark Streaming，我们就可以使用Spark Streaming提供的零数据丢失机制。为了体验这个关键的特性，你需要满足以下几个先决条件： 1、输入的数据来自可靠的数据源和可靠的接收器； 2、应用程序的metadata被application的driver持久化了(ch ...
分类：
其他好文 时间：
2017-02-06 18:02:07
阅读次数：
181
大数据分析处理架构图 数据源： 除该种方法之外，还可以分为离线数据、近似实时数据和实时数据。按照图中的分类其实就是说明了数据存储的结构，而特别要说的是流数据，它的核心就是数据的连续性和快速分析性； 计算层： 内存计算中的Spark是UC Berkeley的最新作品，思路是利用集群中的所有内存将要处理 ...
分类：
其他好文 时间：
2017-01-26 17:20:38
阅读次数：
678
今天我们讲spark streaming的应用,这个是实时处理的，类似于Storm以及Flink相关的知识点, 说来也巧,今天的自己也去听了关于Flink的相关的讲座,可惜自己没有听得特别清楚,好像是 spark streaming与flink是竞争关系,好了,我们进入今天的主题吧 1.一般会做用户 ...
分类：
其他好文 时间：
2017-01-19 22:51:44
阅读次数：
233
FFT IP Core Features 参数设置 FFT IP核有4种模式，分别为： 突发模式(Burst)； 缓存突发模式(Buffered Burst)； 流模式(Streaming)； 可变流模式(Variable Streaming)； 前3中模式运算速度依次增大，占用资源也依次增加，第4... ...
分类：
其他好文 时间：
2017-01-14 12:36:17
阅读次数：
2241
1.需求 了解为什么要使用base64对数据编码 2.理由 因为传输二进制数据的时候，网络中间的有些路由会把ascii码中的不可见字符删了，导致数据不一致。一般也会对url进行base64编码 When you have some binary data that you want to ship ...
分类：
其他好文 时间：
2017-01-07 16:20:11
阅读次数：
265
Jackson框架是基于Java平台的一套数据处理工具，被称为“最好的Java Json解析器”。 Jackson框架包含了3个核心库：streaming,databind,annotations.当然还有其他。。。 后续再继续补充。。。 ...
分类：
其他好文 时间：
2017-01-03 14:56:38
阅读次数：
218
