实验包括：1.使用EMR创建Hadoop集群2.定义schema，创建示例表。3.通过HiveQL分析数据，并将分析结果保存到S3上4.下载已经分析结果数据。Task1：创建一个S3桶创建一个存储桶比如hadoop202006…Task2：创建EMR集群这里我解释一下Hadoop集群中的一些组件，了解大数据的同学直接忽略就好。ApacheHadoop：在分布式服务器集群上存储海量数据并运行分布式分
分类：
其他好文 时间：
2020-06-22 09:17:08
阅读次数：
174
随着网站的业务越来越多，网站的服务就变的很重要，假设某天你的服务器挂了，会不会是一个天大的灾难呢？而且这种事情发生的概率还不小，断电了，服务器硬盘坏了，内存坏了等等，都会使你的系统挂掉，而且高并发的访问有时候也会使系统资源耗尽，然后导致服务器宕机，那么解决方案呢，那就是集群，将相同的系统分别放到不同 ...
分类：
Web程序 时间：
2020-06-16 15:13:34
阅读次数：
61
一、关于Nginx的负载均衡 在服务器集群中，Nginx起到一个代理服务器的角色（即反向代理），为了避免单独一个服务器压力过大，将来自用户的请求转发给不同的服务器。详情请查看我的另一篇博客。 二、Nginx负载均衡策略 负载均衡用于从“upstream”模块定义的后端服务器列表中选取一台服务器接受用 ...
分类：
其他好文 时间：
2020-06-10 20:57:43
阅读次数：
62
高可用集群，是指以减少服务中断（如因服务器宕机等引起的服务中断）时间为目的的服务器集群技术。简单的说，集群就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点。 高可用集群的出现是为了减少由计算机硬件和软件易错性所带来的损失。它通过保护用户的业务程序对外不间断提 ...
分类：
其他好文 时间：
2020-06-08 14:55:02
阅读次数：
79
1. 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS ...
分类：
其他好文 时间：
2020-06-07 21:50:09
阅读次数：
81
Nginx负载均衡基本概述 为什么要使用负载均衡 当我们的Web服务器直接面向用户，往往要承载大量并发请求，单台服务器难以负荷，我使用多台Web服务器组成集群，前端使用Nginx负载均衡，将请求分散的打到我们的后端服务器集群中，实现负载的分发。那么会大大提升系统的吞吐率、请求性能、高容灾 往往我们接 ...
分类：
编程语言 时间：
2020-06-02 00:05:44
阅读次数：
75
1 LVS 介绍 1.1 简介 LVS 是 Linux Virtual Server 的简写，意即 Linux 虚拟服务器，是一个虚拟的服务器集群系统。本项目在 1998 年 5 月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。 LVS 集群采用 IP 负载均衡技术和基于内容请求分发技术。 ...
分类：
数据库 时间：
2020-05-22 17:08:59
阅读次数：
57
WGCLOUD基于java语言开发，是高性能高并发的分布式监控平台，核心模块包括：服务器集群监控，ES集群监控，CPU监控，内存监控，数据监控(mysql，oracle，pg等)，服务心跳检测，应用进程管理，磁盘IO监控，系统负载监控，监控告警信息推送。englishreadme使用中若cache过大导致内存报警不准确，可以将内存使用率告警值改大，如memWarnVal:150，该阈值可以大于10
分类：
其他好文 时间：
2020-05-22 16:56:02
阅读次数：
79
LVS（Linux虚拟服务器）简介LVS是LinuxVirtualServer的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。**特点：**可伸缩网络服务的几种结构，它们都需要一个前端的负载调度器（或者多个进行主从备份）。我们先分析实现虚拟网络服务的主要技术，指出IP负载均衡技术是在负载调度器的实现技术中效
分类：
编程语言 时间：
2020-05-21 19:09:52
阅读次数：
70
集群概念 集群介绍 为什么要用集群 负载均衡 nginx负载均衡实验 Nginx负载均衡概述 Web服务器，直接面向用户，往往要承载大量并发请求，单台服务器难以负荷，我使用多台WEB服务器组成集群，前端使用Nginx负载均衡，将请求分散的打到我们的后端服务器集群中，实现负载的分发。那么会大大提升系统 ...
分类：
其他好文 时间：
2020-05-08 16:32:27
阅读次数：
54
