无论对Spark集群，还是Hadoop集群等大数据相关的集群进行调优，对linux系统层面的调优都是必不可少的，这里主要介绍3种常用的调优和linux常见面试题 ...
分类：
系统相关 时间：
2020-10-20 16:23:11
阅读次数：
36
CAP 分布式系统中，这三个特性只能满足其中两个。 一致性（Consistency）：分布式中一致性又分强一致性和弱一致性，强一致性主浊任何时刻任何节点看到的数据都是一样的，弱一致性一* * 般实现的是最终一致性。 可用性（Availability）：集群在任何时间内都正常使用 分区容错性（Part ...
分类：
其他好文 时间：
2020-10-18 16:34:03
阅读次数：
20
一、VectorAssembler package com.home.spark.ml import org.apache.spark.SparkConf import org.apache.spark.ml.feature.VectorAssembler import org.apache.spa ...
分类：
其他好文 时间：
2020-10-18 09:57:35
阅读次数：
15
Apache Solr是一个用Java编写的开源搜索平台。Apache Solr建立在Apache Lucene的基础上。使用Solr，你可以创建自定义搜索引擎，对文件、数据库和网站进行索引。Solr具有高度的可靠性、可扩展性和容错性，它将提供许多强大的功能，如分布式索引、复制、负载均衡查询、自动故 ...
分类：
Web程序 时间：
2020-10-18 09:29:01
阅读次数：
29
spring cloud 之 Hystrix Hystrix 是 Netflix 开源的一个延迟和容错库，用于隔离访问远程服务、第三方库，防止出现级联失败（雪崩） 雪崩：一个服务失败，导致整条链路的服务都失败的情形 Hystrix 主要功能 线程池隔离 默认为这个隔离 为每个模块分配线程池，不会因为 ...
分类：
编程语言 时间：
2020-10-14 20:12:40
阅读次数：
24
随着微服务的流行，越来越多公司使用了微服务框架，微服务以其高内聚、低耦合等特性，提供了更好的容错性，也更适应业务的快速迭代，为开发人员带来了很多的便利性。但是随着业务的发展，微服务拆分越来越复杂，微服务的治理也成了一个比较令人头疼的问题……
分类：
其他好文 时间：
2020-10-14 19:52:59
阅读次数：
25
猫场面试题第 1 套 以下为我为大家整理的猫场面试题第一套，均为笔者自己参加面试或者一些读者分享给我的题目，保证真实和准确性。 1 框架部分 1.1 Spark 提交 job 流程 所谓提交流程，其实就是我们开发人员根据需求写的应用程序通过 Spark 客户端提交给 Spark 运行环境执行计算的流 ...
分类：
其他好文 时间：
2020-10-13 17:19:39
阅读次数：
26
算法基础 数据分析 数学基础 在进行算法建模时，深入了解数据情况，做各类探索性分析，统计建模等工作非常重要，这方面对一些数学基础知识有一定的要求，例如概率论，统计学等。这方面除了经典的数学教材，也可以参考更程序员向的《统计思维》，《贝叶斯方法》，《程序员的数学2》等书籍。 自我考核：理解实际项目中的 ...
分类：
编程语言 时间：
2020-10-10 17:55:27
阅读次数：
24
格的相关知识 格的相关定义 1.格 格是m维欧式空间 Rm上确定的一组线性无关的向量的整数线性组合。格 L的基 B=b1,b2,…bn∈Rm×n，其中的每个分量线性无关。 同一个格可以由不同的格基表示。m 称为格的维数，n称为格的秩。满足 m = n 的格称为满秩的，通常我们只考虑满秩的格。 2. ...
分类：
其他好文 时间：
2020-10-07 20:26:05
阅读次数：
31
在上一篇博客当中，我们已经介绍了Flink的容错机制归根结底依赖的是Checkpoint机制，所以本篇博客是该章的核心. 什么是Checkpoint 为了保证state的容错性，Flink需要对state进行checkpoint。 Checkpoint是Flink实现容错机制最核心的功能，它能够根据 ...
分类：
其他好文 时间：
2020-10-06 20:55:32
阅读次数：
31
