架构 1.hive是数据仓库，在hadoop基础上处理结构化数据；它驻留在hadoop之上，用户对数据的统计，查询和简单的分析操作。 2.hive不是 a.关系型数据库 b.OLTP c.实时查询和行级更新操作 3.hive特点 a.表模型存储在database(关系型)中，处理的数据存储在HDFS ...
分类：
其他好文 时间：
2018-08-13 14:58:10
阅读次数：
151
下载MySql安装包 选择Custom 用户自定义 Detailed Configuration（手动精确配置） Standard Configuration（标准配置） “Developer Machine（开发测试类）”、“Server Machine（服务器类型）”、“Dedicated My ...
分类：
数据库 时间：
2018-08-09 17:30:09
阅读次数：
174
一、数据处理分类 1. 海量数据处理，按照使用场景主要分为两种类型： 联机事务处理（OLTP） 面向交易的处理系统，其基本特征是原始数据可以立即传送到计算机中心进行处理，并在很短的时间内给出处理结果。简单地说，主要是对数据的插入、修改、删除，所以对事物和实时性要求比较高。 联机分析处理（OLAP） ...
分类：
数据库 时间：
2018-08-07 23:47:51
阅读次数：
243
1、OLTP和OLAP OLTP的全称是 Online Transaction Processing, OLTP主要用传统的关系型数据库来进行事务处理。OLTP最核心的需求是单条记录的高效快速处理，索引技术、分库分表等最根本的诉求就是解决此问题。 OLAP的全称是 Online Analytical ...
分类：
其他好文 时间：
2018-08-07 15:12:06
阅读次数：
144
设某全国性的运输企业建立了大型OLTP系统，并在该系统之上建立了数据仓库。OLTP系统和数据仓库中有如下数据表：运输明细表（运输单ID，发送站ID，终到站ID，货物ID，货物重量，运输价格，发货日期）汇总表1（发送站ID，终到站ID，货物ID，发货日期，总重，总运价）汇总表2（发送站ID，终到地区ID，货物ID，发货日期，总重，总运价）汇总表3（发送站ID，终到站ID，货物ID，发货月份，总重，总
分类：
数据库 时间：
2018-07-20 23:37:42
阅读次数：
279
Sysbench的测试主要包括以下几个方面： 1、磁盘io性能 2、cpu性能 3、内存分配及传输速度 4、POSIX线程性能 5、调度程序性能 6、数据库性能(OLTP基准测试).sysbench 安装注：我这里选择源码包安装sysbench0.5版本下载软件 wget http://repo.p ...
分类：
数据库 时间：
2018-07-20 20:09:01
阅读次数：
213
MySql性能测试工具-sysbenchsysbench简介sysbench是跨平台的基准测试工具，支持多线程，支持多种数据库；主要包括以下几种测试：cpu性能磁盘io性能调度程序性能内存分配及传输速度POSIX线程性能数据库性能(OLTP基准测试)本文主要介绍对数据库性能的测试。下载安装包，地址https://github.com/akopytov/sysbench#wgethttps://gi
分类：
数据库 时间：
2018-07-19 10:43:03
阅读次数：
222
一、何为一个好的olap框架？ olap框架需要具备如下基本素质： 1、易开发性（业务代码占比高，框架易于使用，只需关注业务即可） 2、高可维护性（冗余代码少，应对需求变更的能力强，最少的代码变更实现最多的需求） 3、高可移植性（新项目上线可快速复用已有代码，要求框架的通用性、精炼度要高） 二、为什 ...
分类：
其他好文 时间：
2018-07-17 14:15:11
阅读次数：
135
简介 在SQL Server中，索引是一种增强式的存在，这意味着，即使没有索引，SQL Server仍然可以实现应有的功能。但索引可以在大多数情况下大大提升查询性能，在OLAP中尤其明显.要完全理解索引的概念，需要了解大量原理性的知识，包括B树，堆，数据库页，区，填充因子，碎片,文件组等等一系列相关 ...
分类：
数据库 时间：
2018-07-09 14:12:15
阅读次数：
175
关于Kylin的介绍和使用请参考之前的文章 《分布式大数据多维分析（OLAP）引擎Apache Kylin安装配置及使用示例》 Kylin对外提供的是SQL查询接口，基于Kylin构建OLAP多维分析系统，第一种方案是针对业务，定制开发一个前端界面，将界面上用户的选择和操作，翻译成SQL，提交给Ky ...
分类：
其他好文 时间：
2018-07-08 14:43:28
阅读次数：
251
