为了增强容错性和高可用，避免上游RDD被重复计算的大量时间开销，Spark RDD设计了包含多种存储级别的缓存和持久化机制，主要有三个概念：cache、persist、checkout。 1、存储级别介绍（StorageLevel） 存储级别以一个枚举类StorageLevel定义，分为以下几种： ...
分类：
系统相关 时间：
2020-03-30 12:43:50
阅读次数：
102
每一个模式描述了一个在我们周围不断重复发生的问题及该问题解决方案的核心。这样，你就能一次又一次地使用该方案而不必做重复工作。 所谓网站架构模式即为了解决大型网站面临的高并发访问、海量数据、高可靠运行等一系列问题与挑战。为此，在实践中提出了许多解决方案，以实现网站高性能、高可靠性、易伸缩、可扩展、安全等各种技术架构目标。
分类：
其他好文 时间：
2020-03-30 00:25:23
阅读次数：
252
ylbtech-阿里云-ONS-Help：消息队列 RocketMQ 版 1.返回顶部 1、 消息队列 RocketMQ 版 查看产品> 消息队列RocketMQ版是阿里云基于Apache RocketMQ构建的低延迟、高并发、高可用、高可靠的分布式消息中间件。 产品更新 常见问题 立即购买 学习路 ...
分类：
其他好文 时间：
2020-03-29 19:54:38
阅读次数：
161
作者：图灵-诸葛老师 1、Redis集群方案比较 l 哨兵模式 在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态，如果master节点异常，则会做主从切换，将某一台slave作为master，哨兵的配置略微复杂，并且性能和高可用性等各方面表现一般， ...
分类：
其他好文 时间：
2020-03-29 14:19:20
阅读次数：
74
电商 市场 2013：79万笔/分钟 2014：13.4万亿，双11支付宝交易峰值285万笔/分钟 2015：50万亿 技术特点 一个Tomcat：500并发 分布式：上万并发 高并发、集群、负载均衡、高可用（冗余） 海量数据 业务复杂 系统安全：记录日志 架构 Lamp:linux apache ...
分类：
其他好文 时间：
2020-03-29 10:25:47
阅读次数：
73
FastDFS是一个c语言编写的一个开源的轻量级分布式文件系统，它对文件进程管理，功能包括：文件存储，文件同步，文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题，特别适合以文件为载体的在线服务，如相册网站，视频网站等等，FastDFS为互联网量身定制，充分考虑了冗余备份，负载均衡，现行扩容等，并注重高可用，高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文
分类：
其他好文 时间：
2020-03-29 09:14:01
阅读次数：
98
（1）Hadoop1.x和2.x之间的区别 Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，在高可用、扩展性等方面存在问题 1）HDFS存在的问题 1.NameNode单点故障，难以应用于在线场景。 2.NameNode压力过大，且内存受限，影响扩展性。 2）MapRedu ...
分类：
其他好文 时间：
2020-03-28 17:42:52
阅读次数：
69
1、大型网站的特点 用户多，分布广泛 大流量，高并发 海量数据，服务高可用 安全环境恶劣，易受网络攻击 功能多，变更快，频繁发布 从小到大，渐进发展 以用户为中心 免费服务，付费体验 2、大型网站架构目标 高性能：提供快速的访问体验。 高可用：网站服务一直可以正常访问。 可伸缩：通过硬件增加/减少， ...
分类：
其他好文 时间：
2020-03-28 01:06:34
阅读次数：
80
nginx全面解析【负载均衡、反向代理、高可用、宕机容错】原创itcats_cn 最后发布于2018-09-06 10:24:33 阅读数 15799 收藏展开什么是nginx？nginx是一款高性能的http服务器，官方测试nginx能够支支撑5万并发链接，并且cpu、内存等资源消耗却非常低，运行 ...
分类：
其他好文 时间：
2020-03-27 12:29:50
阅读次数：
58
目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题，实现高可用？ 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载 ...
分类：
其他好文 时间：
2020-03-27 10:40:50
阅读次数：
117
