不多说,直接上问题。版本logstash-2.4.0,启动后提示错误: 先说一下项目环境,由于项目需要,申请了8台主机,1台web应用主机(app),3台项目服务器负载均衡、每台搭载logstash处理操作日志(后面用gate1、gate2、gate3、gate4),3台日志存储服务器(es、red ...
分类:
其他好文 时间:
2018-11-05 17:25:20
阅读次数:
182
前言 前文中介绍到Redis时内存的K V数据结构存储服务器。Redis的高性能原因之一在于其读写数据都是在内存中进行。它的架构实现方式决定了Redis的数据存储具有不可靠性,易丢失,因为RAM内存在硬件问题或者断电情况下都会被擦除。 基于以上问题,为了防止数据在特殊情况下丢失,Redis支持内存数 ...
分类:
其他好文 时间:
2018-10-22 13:09:28
阅读次数:
131
ceph是一种可以提供存储集群服务的软件它可以实现将主机做成存储集群,并提供分布式文件存储的功能ceph服务可以提供三种存储方式:1.块存储2.对象存储2.文件系统存储这里我将介绍如何使用ceph搭建一个存储集群:环境介绍:node1node2node3这三台主机作为存储集群服务器,分别都有3块10G的硬盘,并且我会将node1及作为存储服务器也作为管理主机(管理存储服务器的服务器)将client
分类:
其他好文 时间:
2018-10-13 11:41:32
阅读次数:
169
MongoDB属于内存型数据库,在需要读性能要求很高的项目中有着比较不错的表现。可做前段缓存服务器、缓冲数据存储区,同样也可以作为应用系统的存储服务器,例如微博、论坛等应用系统,也可以作为图片存储服务器(分布式);在数据写方面,Mongo也支持比较高的写速率(当然这取决于硬件设备)。这比一般使用硬盘 ...
分类:
数据库 时间:
2018-10-05 17:24:46
阅读次数:
199
1. FastDFS FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB) ...
分类:
其他好文 时间:
2018-10-02 17:51:01
阅读次数:
140
#MINIO SERVER Minio是在Apache License v2.0下发布的对象存储服务器。它与Amazon S3云存储服务兼容。 它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器/ VM映像。对象的大小可以从几KB到最大5TB。 Minio服务器足够轻,可以与应用程序堆栈捆 ...
分类:
其他好文 时间:
2018-10-01 01:07:55
阅读次数:
1647
分布式存储往往采用分布式的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率,还易于扩展,将通用硬件引入的不稳定因素降到最低。优点如下: 1. 高性能 一个具有高性能的分布式存户通常能够高效地管理读缓存和写缓存,并且支持自动的分级存储。分 ...
分类:
其他好文 时间:
2018-09-27 12:04:55
阅读次数:
241
1、常规分区:(集群的某个节点) /boot 引导分区 200m左右 主分区 swap 交换分区,一般为内存的1.5倍,内存如果大于8G,就分配8 16G / Linux所有目录的顶点,使用剩余所有空间 2、数据重要(数据库、存储服务器) /boot 引导分区 200m左右 主分区 swap 交换分 ...
分类:
系统相关 时间:
2018-09-25 20:46:09
阅读次数:
170
1. FastDFS介绍 FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500M ...
分类:
其他好文 时间:
2018-09-07 00:53:55
阅读次数:
192
分布式存储系统架构设计,应该遵循什么样的原则?分布式存储系统,本质是将数据分散存储在多台独立的x86设备上。传统的网络存储系统通常采用集中的存储服务器存放数据,存储服务器很容易成为系统性能的瓶颈,也容易成为可靠性和安全性的瓶颈。分布式存储系统采用可扩展的系统结构,利用多台x86服务器分担存储负荷,利用位置服务器定位存储信息,不但提高了系统的可靠性、可用性和存储读写效率,还易于扩展。传统架构VS分布
分类:
其他好文 时间:
2018-08-31 17:10:49
阅读次数:
143