1、Storm基础概念 1.1、什么是storm？ Apache Storm is a free and open source distributed realtime computation system. Storm是免费开源的分布式实时计算系统 实时和离线的区别： 1 离线计算：批量获取数据 ...
分类：
其他好文 时间：
2018-01-02 13:23:52
阅读次数：
273
这些年，云计算、大数据的发展如火如荼，从早期的以MapReduce为代表的基于文件系统的离线数据计算，到以Spark为代表的内存计算，以及以Storm为代表的实时计算，还有图计算等等。只要数据规模到了一定的程度，都需要依赖分布式计算来实时或者离线做出决策。虽然本人并未从事相关工作，但是了解一下还是好 ...
分类：
其他好文 时间：
2017-12-11 11:21:49
阅读次数：
186
整合Kafka+Storm，消息通过各种方式进入到Kafka消息中间件，比如通过使用Flume来收集的日志数据，然后暂由Kafka中的路由暂存，然后在由实时计算程序Storm做实时分析，这时候我们需要讲Storm中的Spout中读取Kafka中的消息，然后交由具体的Bolt组件分析处理。实际上在 a ...
分类：
数据库 时间：
2017-12-05 15:24:31
阅读次数：
434
对于分布式系统这样一个复杂领域，首先要清楚其概念，才能从总体角度有个把握，才好深入 去不断了解。 google搜索引擎需要对海量数据进行离线实时计算，海量数据单机已经无法进行存储、计算。 单机不行那就用多台PC构成分布式来应对海量存储、海量计算，想法厉害结果人还实现了。 应对海量数据存储，海量数据计 ...
分类：
其他好文 时间：
2017-11-21 14:28:42
阅读次数：
122
简介 以前经常听说“模型不好看啊，怎么办啊？”答曰“加法线”，”做了个高模，准备烘一下法线贴图”，“有的美术特别屌，直接画法线贴图”.....法线贴图到底是个什么鬼，当年天真的我真的被这个图形学的奇淫杂技忽悠了，然而毕竟本人还算有点刨根问底的精神，决定研究一下法线贴图的原理以及Unity下的实现。本 ...
分类：
编程语言 时间：
2017-11-13 19:43:19
阅读次数：
278
根据一些公开资料整理，也许有失偏颇，仅供参考： 1.第一代 Hadoop 承载的 MapReduce 2.第二代 支持 DAG（有向无环图） 的框架： Tez 、 Oozie，主要还是还是批处理任务 3.第三代 Job 内部的 DAG（有向无环图） 支持（不跨越 Job），以及强调的实时计算：Spa ...
分类：
其他好文 时间：
2017-11-13 00:15:18
阅读次数：
242
个性化推荐系统评价有两个重要指标，一个是召回率一个是准确率。召回率就是：召回率=提取正确信息条数/样本中信息条数。准确率就是：准确率=提取出正确信息条数/提取信息条数。召回率大小直接影响准确率，直接影响机器学习模型、深度学习模型线上效果。 模型实时计算第一步是模型上线，将spark、TensorFl ...
分类：
其他好文 时间：
2017-11-02 14:31:44
阅读次数：
177
1：什么是Storm？ Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。Storm有很多使用场景：如实时分析，在线机器学习，持续计算， 分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快 ...
分类：
其他好文 时间：
2017-10-31 17:41:40
阅读次数：
176
正如名字所示，TLD算法主要由三个模块构成：追踪器（tracker），检测器（detector）和机器学习（learning）。 对于视频追踪来说，常用的方法有两种，一是使用追踪器根据物体在上一帧的位置预测它在下一帧的位置，但这样会积累误差，而且一旦物体在图像中消失，追踪器就会永久失效，即使物体再出 ...
分类：
编程语言 时间：
2017-10-27 02:01:58
阅读次数：
348
本篇文章内容来自2016年TOP100summit Twitter technical lead for Heron Maosong Fu 的案例分享。 编辑：Cynthia Maosong Fu：Technical Lead for Heron at Twitter 导读：人们需要处理的数据规模和 ...
分类：
其他好文 时间：
2017-10-23 18:23:31
阅读次数：
147
