logstash实践，脚本生成配置文件，启动Logstash Docker容器服务，通过kibana查看结构化数据 ...
分类：
其他好文 时间：
2018-08-27 18:18:20
阅读次数：
172
一. GoldenGate 概述 GoldenGate现在是业内成熟的数据容灾与复制产品；GoldenGate是一种基于日志的结构化数据复制方式，它通过解析源数据库在线日志或归档日志获得数据的增删改变化（数据量只有日志的四分之一左右），再将这些变化应用到目标数据库，实现源数据库与目标数据库同步、双活 ...
分类：
数据库 时间：
2018-08-27 18:07:07
阅读次数：
240
结 结构化数据 结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。举一个例子： 1 2 3 4 所以，结构化的数据的存储和排列是很有规律的，这对查询和修改等操作很有帮助。但是，显然，它的扩展性不好（ ...
分类：
其他好文 时间：
2018-08-21 15:08:11
阅读次数：
124
Redis NoSQL简介 NoSQL，全名为Not Only SQL，指的是非关系型的数据库 随着访问量的上升，网站的数据库性能出现了问题，于是nosql被设计出来 优点/缺点 优点: 高可扩展性 分布式计算 低成本 架构的灵活性，半结构化数据 没有复杂的关系 缺点: 没有标准化 有限的查询功能（... ...
分类：
其他好文 时间：
2018-08-19 12:58:31
阅读次数：
186
1.简介 HBase从诞生至今将近10年，在apache基金会的孵化下，已经变成一个非常成熟的项目，也有许多不同的公司支持着许多不同的分支版本，如cloudra等等。 HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 ha ...
分类：
数据库 时间：
2018-08-18 17:53:42
阅读次数：
173
总结一下近期学习的大数据知识， 学习之前没搞清楚的知识 传统的web应用（LAMP、JavaEE、NODE系等）与大数据什么关系？ 之前一直以为大数据的东西就是来取代传统的Web应用的，其实并不是这样；即使是大数据的架构，应用层依然会是传统的web应用，但是会根据数据特点对数据存储（结构化数据依然会 ...
分类：
其他好文 时间：
2018-08-18 13:26:39
阅读次数：
179
ceph 官方网站：http://docs.ceph.org.cn/ 简单介绍： Ceph是一个开源的分布存储系统，同时提供对象存储、块存储和文件存储。linux内核2.6.34将ceph加入到内核中，红帽基于ceph出了redhat ceph storage. 支持TB级存储 支持高可用、容灾备份 ...
分类：
其他好文 时间：
2018-08-17 19:10:10
阅读次数：
181
架构 1.hive是数据仓库，在hadoop基础上处理结构化数据；它驻留在hadoop之上，用户对数据的统计，查询和简单的分析操作。 2.hive不是 a.关系型数据库 b.OLTP c.实时查询和行级更新操作 3.hive特点 a.表模型存储在database(关系型)中，处理的数据存储在HDFS ...
分类：
其他好文 时间：
2018-08-13 14:58:10
阅读次数：
151
1、思维模式转变的催化剂是大量新技术的诞生，它们能够处理大数据分析所带来的3个V的挑战。扎根于开源社区，Hadoop已经是目前大数据平台中应用率最高的技术，特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。 2、除分布式文件系统之外，伴随Hadoop一同出现的还有进行大数据集处理MapRedu ...
分类：
其他好文 时间：
2018-08-12 14:16:13
阅读次数：
126
一、简介：Elasticsearch是一个基于ApacheLucene的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。Elasticsearch不仅仅是Lucene和全文搜索，我们还能这样去描述它：·分布式的实时文件存储，每个字段都被索引并可被搜索·分布式的实时分析搜索引擎·可以扩展到上百台服务器，处理PB级结构化或非结构化数据二、
分类：
其他好文 时间：
2018-08-11 10:14:38
阅读次数：
205
