怎样提高Spark Streaming的性能 1、创建多个接收器 待定：： 2、调节每一个batch interval的数据块的数量，其实就是调整上面第二个问题中提到的配置spark.streaming.blockInterva 待定：： 3、调整Recevier每秒接收数据的速率 待定：： 4、通 ...
分类：
其他好文 时间：
2019-11-29 18:14:33
阅读次数：
86
MIT6.824食用过程 Lab1 MapReduce 一、介绍 本实验使用Go语言构建一个mapreduce库，以及一个容错的分布式系统。第一部分完成一个简单的mapreduce程序，第二部分写一个提交到mapreduce workers 的master 并且要能够处理workers 的错误。 库 ...
分类：
其他好文 时间：
2019-11-27 19:07:21
阅读次数：
119
原文地址： "Setting up local clusters" 设置单节点集群 对于测试环境与开发环境，最快速与简单的方式是配置一个本地集群。对于生产环境，参考 集群 部分。 本地单节点集群 启动一个集群 运行以下命令来部署一个单节点的etcd集群: 如果 二进制文件不在当前工作目录，那可能位于 ...
分类：
其他好文 时间：
2019-11-26 13:35:43
阅读次数：
92
前言 Saga单词翻译过来是指尤指古代挪威或冰岛讲述冒险经历和英雄业绩的长篇故事，对，这里强调长篇故事。许多系统都存在长时间运行的业务流程，NServiceBus使用基于事件驱动的体系结构将容错性和可伸缩性融入这些业务处理过程中。 当然一个单一接口调用则算不上一个长时间运行的业务场景，那么如果在给定 ...
分类：
其他好文 时间：
2019-11-25 09:30:29
阅读次数：
59
听书上说有贪心 + 数据结构的做法，研究了一下。 朴素贪心 考虑把所有线段按照右端点 $b$ 从小到大排序，依次考虑每一条线段的要求： 如果已经满足要求则跳过 否则尽量选择靠后的数（因为之后的线段的右端点都在这条线段的右边，这样容错更高） 所以，我们可以建一个数组，$d[i]$ 表示 $i$ 数字是 ...
1、Flume简介 ? (1) Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Unix环境下运行。 ? (2) Flume基于流式架构，容错性强，也很灵活简单。 ? (3) Flume、Kafka用来实时进行数据收集，Spark、Flink用来实 ...
分类：
Web程序 时间：
2019-11-22 12:11:59
阅读次数：
201
集群结构 1、分片：当我们的文档量很大时，由于内存和硬盘的限制，同时也为了提高ES的处理能力、容错能力及高可用能力，我们将索引分成若干分片，每个分片可以放在不同的服务器（当然也可以放到一个服务器中，可以提高效率，但是不能减少内存和硬盘空间），这样就实现了多个服务器共同对外提供索引及搜索服务。 2、副 ...
分类：
其他好文 时间：
2019-11-21 16:44:15
阅读次数：
91
什么是Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理 Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的T ...
分类：
其他好文 时间：
2019-11-21 13:56:11
阅读次数：
103
前言 秒杀大家都不陌生。自2011年首次出现以来，无论是双十一购物还是 12306 抢票，秒杀场景已随处可见。简单来说，秒杀就是在同一时刻大量请求争抢购买同一商品并完成交易的过程。从架构视角来看，秒杀系统本质是一个高性能、高一致、高可用的三高系统。而打造并维护一个超大流量的秒杀系统需要进行哪些关注， ...
分类：
其他好文 时间：
2019-11-19 14:12:48
阅读次数：
49
1. Redis 是什么？都有哪些使用场景？ 我们先来理解经典的CAP理论： 一致性：是指从数据层面来看的一致性。 可用性：是指从系统层面的可用性。 容错性：是指从网络层面的的容错性。 数据库逐渐从关系数据库向不同领域不同层次分化。随着读多写少场景的出现，导致需要读取数据的时间变慢，为了提升性能，出 ...
分类：
编程语言 时间：
2019-11-18 15:37:04
阅读次数：
112
