作者：周思华 欢迎访问网易云社区，了解更多网易技术产品运营经验。 本文尝试描述Beam模型和Stream & Table理论间的关系（前者描述于数据流模型论文、the-world-beyond-batch-streaming101和the-world-beyond-batch-streaming-1 ...
分类：
其他好文 时间：
2018-11-21 12:21:19
阅读次数：
174
1.概述 Spark起源于加州大学伯克利分校RAD实验室,起初旨在解决MapReduce在迭代计算和交互计算中的效率低下问题.目前Spark已经发展成集离线计算,交互式计算,流计算,图计算,机器学习等模块于一体的通用大数据解决方案. 2.Spark组件 Spark Core Spark Core 实 ...
分类：
其他好文 时间：
2018-11-21 10:22:35
阅读次数：
271
阿里搜索技术体系演进至今天，基本形成了由offline、nearline、online三层体系，分工协作，保证电商平台上，既能适应日常平稳流量下稳定有效的个性化搜索及推荐，也能够去满足电商平台对促销活动的技术支持，实现在短时高并发流量下的平台收益最大化。 可以看到，十年双11的考验后，搜索智能化体系 ...
分类：
其他好文 时间：
2018-11-19 12:41:59
阅读次数：
231
实时存储到redis，更新用户使用时间的最大、最小值--》来求留存率 避免全表扫描问题 1.spark 对接kafka 消费者 解析json 2.concat(appid,'#',appversion,'#',brand,'#',appplatform,'#',devicestyle,'#',ost ...
分类：
其他好文 时间：
2018-11-15 10:24:11
阅读次数：
335
好久没弄AssetBundle了 最近又试了下，发现打包和加载还是比之前的变化蛮大的，都差点弄不出来。 废话也不多说了直接上代码，注释比较多，基本在代码中就能看懂了 打包 DoAssetbundle.cs C# 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 ...
分类：
其他好文 时间：
2018-11-13 00:21:37
阅读次数：
255
could accomplish with Flink back at Twitter. I had an application in mind that I knew I could make more efficient by a huge factor if I could use the ...
分类：
其他好文 时间：
2018-11-10 16:46:31
阅读次数：
240
https://github.com/MetaMask/json-rpc-middleware-stream/blob/master/test/index.js#L20 A small toolset for streaming json rpc and matching requests and ...
分类：
Web程序 时间：
2018-11-07 17:15:02
阅读次数：
195
项目需求，有一个spark-streaming的程序，读kafka的数据，需要构建一个不使用hadoop的spark 以下建立的镜像参考网络，可以稍加修改就可以使用不同的版本。 可单独启动master,worker来构建一个standaline的集群。 也可以默认启动，启动后，构建的是一个maste ...
分类：
其他好文 时间：
2018-11-05 16:13:27
阅读次数：
359
1 框架一览 事件处理的架构图如下所示。 2 优化总结 当我们第一次部署整个方案时，kafka和flume组件都执行得非常好，但是spark streaming应用需要花费4-8分钟来处理单个batch。这个延迟的原因有两点，一是我们使用DataFrame来强化数据，而强化数据需要从hive中读取大 ...
分类：
其他好文 时间：
2018-11-02 23:29:29
阅读次数：
241
Kafka部署与使用 写在前面 从上一篇Kafka的架构介绍和安装中，可能，你还一直很蒙，kafka到底该怎么使用呢？接下来，我们就来介绍Kafka的部署与使用。上篇文章中我们说到，Kafka的几个重要组成是:1.producer 2.consumer 3.broker 4.topic .因此我们就 ...
分类：
其他好文 时间：
2018-10-31 15:39:08
阅读次数：
106
