一般来说，一个spark程序包含两种 JVM 程序，Dirver 和 Executor。Dirver 是主要的控制程序，负责创建 context，提交任务，那 job 转换为 task 并且协调 task 在 executor 中的执行。Executor 主要是负责执行计算任务并且将结果返回给 Dr ...
分类：
其他好文 时间：
2020-05-24 23:52:11
阅读次数：
70
分布式系统里排他性的资源访问方式，叫作分布式互斥，而这种被互斥访问的共享资源就叫作临界资源。 一.集中式算法 引入一个协调者程序便得到一个分布式互斥算法。每个程序在需要访问临界资源时，先给协调者发送一个请求。如果当前没有程序使用这个资源，协调者直接授权请求程序访问；否则，按照先来后到的顺序为请求程序 ...
分类：
编程语言 时间：
2020-05-24 19:30:23
阅读次数：
75
色彩搭配注意事项！你用对了吗？ 设计智造 发布时间：18-09-2308:02平面设计师 色彩作为设计中的重要元素，有着不可或缺的作用，它不仅唤起人们的视觉美感，而且传达出独特的情感诉求。 在设计中若能合理运用色彩搭配，便会产生较适宜的视觉效果，色彩的对比与协调尤为重要，它们会产生奇特效果、赏心悦目 ...
分类：
其他好文 时间：
2020-05-24 16:49:09
阅读次数：
266
Kafka快速入门（三）——Kafka核心技术一、生产者压缩算法1、Kafka消息压缩压缩（compression）是用时间换空间的经典trade-off思想，使用CPU时间换磁盘空间或网络I/O传输量，以较小的CPU开销带来更少的磁盘占用或更少的网络I/O传输。Kafka有两类消息格式，V1版本和V2版本，V2版本在Kafka0.11.0.0中正式引入。Kafka的消息层次都分为两层：消息集合（
分类：
其他好文 时间：
2020-05-24 09:37:17
阅读次数：
56
AWS Step Functions 将多个AWS服务协调为无服务器工作流，以便可以快速构建和更新应用程序。使用Step Functions，可以设计和运行将AWS Lambda 和 Amazon ECS等服务整合到功能丰富的应用程序中的工作流
分类：
其他好文 时间：
2020-05-24 09:35:42
阅读次数：
60
什么是微服务? 就目前而言对于微服务业界没有一个统一的,标准的定义.但通常而言,微服务是一种架构模式或者说是一种架构风格,它提倡单一应用程序划分为一组小的服务,每个服务在其独立的自己的进程中,服务之间相互协调,互相配合,为用户提供最终价值.服务之间采用轻量级的通信机制互相沟通(基于Http的Rest ...
分类：
编程语言 时间：
2020-05-24 00:11:05
阅读次数：
151
1、Hbase集群的高可用性与伸缩性 HBase可以实现对Regionserver的监控，当个别Regionserver不可访问时，将其负责的分区分给其他Regionsever，其转移过程较快，因为只需要将分区的相关信息转移。Hlog和表中数据实际存储在HDFS上，本身具有多副本机制容错。 Mast ...
分类：
其他好文 时间：
2020-05-23 20:00:09
阅读次数：
88
一、锁的定义 锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中，除了传统的计算资源(如CPU、RAM、I/O等)的争用以外，数据也是一种供需要用户共 享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度 ...
分类：
数据库 时间：
2020-05-23 19:59:51
阅读次数：
58
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/ ...
分类：
其他好文 时间：
2020-05-23 18:03:51
阅读次数：
49
模型有很多参数，如何找到最佳的参数组合？ 调整参数何时为止：应该遵循偏差和方差协调的原则。 本章将介绍： 调整参数对机器学习的重要性 如何使用网格搜索优化参数 如何使用随机搜索优化参数 机器学习算法调参 调整算法参数是采用机器学习解决问题的最后一个步骤，有时也被称为超参数优化。 参数可以分为两种：一 ...
分类：
编程语言 时间：
2020-05-23 09:19:48
阅读次数：
52
