企业级大数据处理方案有三种业务场景： 1.离线处理；（mapreduce（第一代）、sparksql（第二代）） 2.实时处理；（数据库操作、storm） 3.准实时处理。（spark Streaming） mapreduce与spark对比 mr与spark优缺点对比：（一） a.mapreduc ...
分类：
其他好文 时间：
2016-07-05 10:10:17
阅读次数：
119
前言 临近毕业，整理一下之前做的东西。这篇博客来自于博主在2016年3月份投的一篇会议论文（论文主要讲述如何实时处理image和imu数据，水分很大，本博文是其中的数据采集部分）。 本文的目的是将pc和手机连于同一局域网下，然后手机实时把相机和imu的数据打包成ros的消息格式，pc订阅这些消息，进... ...
分类：
移动开发 时间：
2016-06-25 16:19:45
阅读次数：
2862
转自：http://liuzxc.github.io/blog/celery/ Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统，它是一个专注于实时处理的任务队列， 同时也支持任务调度。Celery 中有两个比较关键的概念： 安装 Celery 直接使用 python 工具 pip ...
分类：
其他好文 时间：
2016-06-22 15:22:09
阅读次数：
1131
在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它为实时处理类应用提供了一个计算模型，可以很容易地进行编程处理。为了统一离线和实时计 ...
分类：
其他好文 时间：
2016-06-21 15:18:08
阅读次数：
362
应该会有不少人觉得我标题打错了，是不是想讲SparkStreaming或者Kafka+SparkStreaming啊？实际上这不是笔误，Kafka Streams是Kafka 0.10提供的新能力，用于实时处理Kafka中的数据流，和现有的流处理技术如SparkStreaming，Storm，Flink还是有些区别的。
1 概况
Kafka Streams是一套处理分析Ka...
分类：
其他好文 时间：
2016-06-10 12:31:17
阅读次数：
2810
首先，讲讲什么是线程池？照笔者的简单理解，其实就是一组线程实时处理休眠状态，等待唤醒执行。那么为什么要有线程池这个东西呢？可以从以下几个方面来考虑：其一、减少在创建和销毁线程上所花的时间以及系统资源的开销 。其二、2将当前任务与主线程隔离，能实现和主线程的异步执行，特别是很多可以分开重复执行的任务。但是，一味的开线程也不一定能带来性能上的，线池休眠也是要占用一定的内存空间，所以合理的选择线程池的大小也是有一定的依据。...
分类：
编程语言 时间：
2016-06-08 10:46:30
阅读次数：
201
Android提供了两个API用于实现录音功能：android.media.AudioRecord、android.media.MediaRecorder。
网上有很多谈论这两个类的资料。现在大致总结下：
1、AudioRecord
主要是实现边录边播（AudioRecord+AudioTrack）以及对音频的实时处理（如会说话的汤姆猫、语音）
优点：语音的实时处理，可以用代码...
分类：
移动开发 时间：
2016-05-12 12:55:08
阅读次数：
277
spark streaming 不同于sotm，是一种准实时处理系统。storm 中，把批处理看错是时间教程的实时处理。而在spark streaming中，则反过来，把实时处理看作为时间极小的批处理。 1、三个时间参数 spark streaming 中有三个关于时间的参数，分别如下： 窗口时间w ...
分类：
Windows程序 时间：
2016-05-07 18:15:35
阅读次数：
2987
使用Storm实现实时大数据分析 使用Storm实现实时大数据分析 摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。CSDN ...
分类：
其他好文 时间：
2016-04-30 12:48:03
阅读次数：
255
软考信息系统监理师：2016年4月22日作业一、信息应用系统建设基础知识1、软件按功能划分哪3类，按服务对象划分哪2类、按软件的工作方式划分哪4类？答：1）按软件的功能划分：系统软件、支撑软件、应用软件2）按服务对象划分：项目软件、产品软件3）按工作方式划分：实时处理软..
分类：
其他好文 时间：
2016-04-29 01:53:33
阅读次数：
205
