CH是由俄罗斯“熊哥”开源的一套用于联机分析(OLAP)的列式数据库管理系统(DBMS),它通过针对性的设计,力图解决海量多维度数据的查询性能问题。小白程序员轻松上手,安装和操作就像mysql一样简单。 ...
分类:
Web程序 时间:
2019-07-09 09:22:20
阅读次数:
324
Greenplum 调优--VACUUM系统表 1、VACUUM系统表原因 Greenplum是基于MVCC版本控制的,所有的delete并没有删除数据,而是将这一行数据标记为删除, 而且update其实就是delete加insert。所以,随着操作越来越多,表的大小也会越来越大。对于OLAP 应用 ...
分类:
其他好文 时间:
2019-07-04 15:56:02
阅读次数:
123
一.数据可视化库类 Echarts 一个纯java的数据可视化库,百度的产品,常应用于软件产品开发或者 系统的图表模块,图表种类多,动态可视化效果,开源免费。 评价:非常好的一个可视化库,图表种类多,可选的主题。以前我们产品中就是使用echarts进行可视化需求的定制开发。Echarts中主要还是以 ...
分类:
其他好文 时间:
2019-06-29 14:36:39
阅读次数:
176
贷前系统负责从进件到放款前所有业务流程的实现,其中涉及一些数据量较大、条件多样且复杂的综合查询,引入ElasticSearch主要是为了提高查询效率,并希望基于ElasticSearch快速实现一个简易的数据仓库,提供一些OLAP相关功能。本文将介绍贷前系统ElasticSearch的实践经验。 ...
分类:
其他好文 时间:
2019-06-20 12:30:30
阅读次数:
95
1、概述 本文以淘宝作为例子,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。 2、基本概念 在介绍架构之前,为了避免部分读者对架构设计中的一些概念不了解,下面对几个最基础的概念进 ...
分类:
其他好文 时间:
2019-06-17 14:11:28
阅读次数:
96
hive: 基于hadoop,数据仓库软件,用作OLAP OLAP:online analyze process 在线分析处理OLTP:online transaction process 在线事务处理 事务: ACID A:atomic 原子性 C: consistent 一致性 I:isolat ...
分类:
其他好文 时间:
2019-06-14 16:16:24
阅读次数:
88
34、choose one You want to create a table, DAILY_ORDERS, for an OLTP application, where data should be compressed during both direct-path INSERT and co ...
分类:
其他好文 时间:
2019-05-22 16:00:17
阅读次数:
124
一、并发性 并发性是oltp数据库最重要的特性,但并发涉及到资源的获取、共享与锁定。 mysql:mysql以表级锁为主,对资源锁定的粒度很大,如果一个session对一个表加锁时间过长,会让其他session无法更新此表中的数据。虽然InnoDB引擎的表可以用行级锁,但这个行级锁的机制依赖于表的索 ...
分类:
数据库 时间:
2019-05-18 00:34:20
阅读次数:
166
一、Data仓库的架构 Data仓库(Data Warehouse DW)是为了便于多维分析和多角度展现而将Data按特定的模式进行存储所建立起来的关系型Datcbase,它的Data基于OLTP源Systam。Data仓库中的Data是细节的、集成的、面向主题的,以OLAPSystam的分析需求为 ...
分类:
其他好文 时间:
2019-05-12 13:53:25
阅读次数:
132
OLTP和OLAP的区别 联机事务处理OLTP(on-line transaction processing) 主要是执行基本日常的事务处理,比如数据库记录的增删查改。比如在银行的一笔交易记录,就是一个典型的事务。 OLTP的特点一般有: 1.实时性要求高。我记得之前上大学的时候,银行异地汇款,要隔 ...
分类:
其他好文 时间:
2019-04-15 16:28:13
阅读次数:
165