实验包括：1.使用EMR创建Hadoop集群2.定义schema，创建示例表。3.通过HiveQL分析数据，并将分析结果保存到S3上4.下载已经分析结果数据。Task1：创建一个S3桶创建一个存储桶比如hadoop202006…Task2：创建EMR集群这里我解释一下Hadoop集群中的一些组件，了解大数据的同学直接忽略就好。ApacheHadoop：在分布式服务器集群上存储海量数据并运行分布式分
分类：
其他好文 时间：
2020-09-17 22:02:51
阅读次数：
37
最近.netcore比较火。大部分公司都开始转向.netcore，作为技术储备也好，还是兴趣爱好，都有必要做一下研究，.netcore应该是未来的技术方向，不管是分布式服务还是跨平台。服务端架构应该经历了这么几个阶段：WebService--->RemotingObject---->WCF--->.NetCore相比于前几种技术架构，.netcore实现了轻量级和跨平台的要求；可
分类：
Web程序 时间：
2020-09-17 21:15:50
阅读次数：
54
1.分布式框架，是分布式服务的一种实现（需要先学习使用springboot） 官网网站为spring.io EurekaService 分为三部 1.导包 <dependencies> <!--开始Eureka的服务中心--> <dependency> <groupId>org.springfram ...
分类：
编程语言 时间：
2020-09-17 13:50:12
阅读次数：
30
一.基本概念 Consul是一套开源的分布式服务发现和配置管理系统，由HashiCorp公司用Go开发。 它提供微服务系统中的服务治理、配置中心、控制总线等功能。 服务发现：提供HTTP和DNS两种发现方式。 健康检测：支持多种方式，http、tcp、Docker、shell等 kv存储：key、v ...
分类：
编程语言 时间：
2020-09-17 13:43:04
阅读次数：
30
1 Zookeeper入门 1.1 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 1.2 Zookeeper工作机制 Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理架构。它负责存储和管理大家都关心的数据，然后接受观察者的 ...
分类：
其他好文 时间：
2020-09-12 21:40:11
阅读次数：
38
这是本公众号的第9篇原创文章负载均衡使用微服务后，为了能够承担高并发的压力，同一个服务可能会启动多个实例。这时候消费者就需要负载均衡，把请求分散到各个实例。负载均衡主要有两种设计：服务端负载均衡客户端负载均衡对于传统的分布式服务来说，大多使用服务端负载均衡。一般会使用Nginx或者ELB等工具作为负载均衡器，如下图：传统负载均衡而在SpringCloud中，使用的是「客户端负载均衡」的方式，使用「
分类：
编程语言 时间：
2020-08-11 09:20:28
阅读次数：
71
做项目时我们一直在说框架、架构，那它到底是什么呢？ 什么是架构 从 dubbo 官网我们可以看到架构设计的发展演变史。 这里把架构分成四类： 单一应用架构 垂直应用架构 分布式服务架构 流动计算架构 刚开始时 PHP + MySQL 就可以形成网站了。 这种模式支持中小型网站是没有问题的，但是一旦形 ...
分类：
其他好文 时间：
2020-07-29 21:50:40
阅读次数：
66
Hystrix是什么 在分布式环境中，许多服务依赖项中的一些必然会失败。Hystrix是一个库，通过添加延迟容忍和容错逻辑，帮助你控制这些分布式服务之间的交互。Hystrix通过隔离服务之间的访问点、停止级联失败和提供回退选项来实现这一点，所有这些都可以提高系统的整体弹性。 Hystrix为了什么 ...
分类：
其他好文 时间：
2020-07-27 23:59:03
阅读次数：
79
什么是Consul Consul 是 HashiCorp 公司推出的开源工具，用于实现分布式系统的服务发现与配置。与其它分布式服务注册与发现的方案，Consul 的方案更“一站式”，内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value 存储、多数据中心方案，不再需要依赖其它工具 ...
分类：
编程语言 时间：
2020-07-23 01:39:39
阅读次数：
81
我们都知道，微服务之间通过feign传递，在复杂的微服务架构系统中，几乎每一个前端请求都会形成一个复杂的分布式服务调用链路，在每条链路中任何一个依赖服务出现延迟超时或者错误都有可能引起整个请求最后的失败。当业务流程足够复杂时，一个完整的HTTP请求调用链一般会经过多个微服务系统，要通过日志来跟踪一整 ...
分类：
其他好文 时间：
2020-07-16 21:40:19
阅读次数：
68
