1.怎么做推荐系统： 推荐系统架构：在一个公司，要做一个推荐系统，要分三层：a：第一层，offline层，线下层，对海量数据进行离线加工的，例如：mapreduce。b：第二层，nearline层，线下和在线夹着的，允许你的数据有延迟的，但是不要延迟太大，利用流式处理技术，对实时产生的数据做加工，如 ...
分类：
其他好文 时间：
2017-10-01 17:34:58
阅读次数：
182
1，日志的采集从flumeagent上的数据一般分到两条线上一条是kafka集群，后期可以用流式处理（sparkstreaming或storm等等）一条是到hdfs，后期可以用hive处理，业界叫lambda架构architecture(一般公司的推荐系统，就是用这种架构)flume-ngagent采集收集日志后，聚合在一个节点上..
分类：
其他好文 时间：
2017-09-20 23:26:56
阅读次数：
216
Ckafka是基础架构部开发的高性能、高可用消息中间件，其主要用于消息传输、网站活动追踪、运营监控、日志聚合、流式处理、事件追踪、提交日志等等需要高性能的场景,目前已经上线腾讯云。 ...
分类：
其他好文 时间：
2017-09-11 15:42:58
阅读次数：
276
相当长一段时间以来，大数据社区已经普遍认识到了批量数据处理的不足。很多应用都对实时查询和流式处理产生了迫切需求。最近几年，在这个理念的推动下，催生出了一系列解决方案，Twitter Storm，Yahoo S4，Cloudera Impala，Apache Spark和Apache Tez纷纷加入大 ...
分类：
其他好文 时间：
2017-09-07 21:25:56
阅读次数：
217
1.Storm 和 SparkStreaming区别 Storm 纯实时的流式处理，来一条数据就立即进行处理SparkStreaming微批处理，每次处理的都是一批非常小的数据Storm支持动态调整并行度（动态的资源分配），SparkStreaming(粗粒度， 比较消耗资源) Storm 纯实时的 ...
分类：
其他好文 时间：
2017-09-01 14:35:43
阅读次数：
291
Azure 10月新发布：F 系列计算优化实例，认知服务，媒体服务流式处理单元更名，Azure 镜像市场，FreeBSD ...
分类：
其他好文 时间：
2017-08-12 22:41:28
阅读次数：
254
作者：仲浩 出处：《程序员》电子刊5月B 摘要：Spark立足内存计算，常常需要在内存中存放大量数据，因此也更依赖JVM的垃圾回收机制。与此同时，它也兼容批处理和流式处理，对于程序吞吐量和延迟都有较高要求，因此GC参数的调优在Spark应用实践中显得尤为重要。 Spark是时下非常热门的大数据计算框 ...
分类：
其他好文 时间：
2017-07-10 23:34:04
阅读次数：
265
分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程，与MapReduce一样是一种通用计算框架，期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。DAG是任务链的图形化表示，用它来描述流处理作业的拓扑。在选择不同的流处理系统时，通常会关注以下几点： 运行时和编程模型：平台 ...
分类：
其他好文 时间：
2017-07-06 00:29:25
阅读次数：
241
伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来， ...
分类：
其他好文 时间：
2017-06-27 10:02:46
阅读次数：
157
解析Xml文件的三种方式 1、Sax解析（simple api for xml） 使用流式处理的方式，它并不记录所读内容的相关信息。它是一种以事件为驱动的XML API，解析速度快，占用内存少。使用回调函数来实现。 1 class MyDefaultHander extends DefaultHan ...
分类：
其他好文 时间：
2017-06-21 18:54:24
阅读次数：
222
