一. 基础概念 1. 数据:能够输入到计算机中并被识别处理的信息集合 2. 数据结构:研究一个数据集合中,数据元素关系 3. 数据库:按照数据结构,存储管理数据的仓库。数据仓库是在数据库管理系统管理控制下在一定介质中创建的 4. 数据库管理系统:数据库管理软件,用于建立维护操作数据库 5. 数据库系 ...
分类:
数据库 时间:
2019-05-26 09:15:04
阅读次数:
101
1,先从GitHub网页上建立一个数据仓库 2,安装git 下载地址:https://www.git-scm.com/download/win 3,找到本地要上传的项目目录,右键点击Git Bash Here 4,在命令行中,输入“git init”,使文件加入git管理 5,输入:git add ...
分类:
Web程序 时间:
2019-05-24 17:02:57
阅读次数:
134
1.HIVE和HBASE区别 1. 两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不 ...
分类:
其他好文 时间:
2019-05-15 00:27:15
阅读次数:
155
简介: 本文的主要内容不是介绍现有的比较流行的主要行业的一些数据模型,而是将笔者在数据仓库建设项目中的一些经验,在这里分享给大家。希望帮助大家在数据仓库项目建设中总结出一套能够合乎目前业界规范的,满足大部分行业数据仓库建设标准的一种方法。 所谓水无定势,兵无常法。不同的行业,有不同行业的特点,因此, ...
分类:
其他好文 时间:
2019-05-12 14:08:19
阅读次数:
139
一、Data仓库的架构 Data仓库(Data Warehouse DW)是为了便于多维分析和多角度展现而将Data按特定的模式进行存储所建立起来的关系型Datcbase,它的Data基于OLTP源Systam。Data仓库中的Data是细节的、集成的、面向主题的,以OLAPSystam的分析需求为 ...
分类:
其他好文 时间:
2019-05-12 13:53:25
阅读次数:
132
大数据数据仓库-基于大数据体系构建数据仓库(Hive,Flume,Kafka,Azkaban,Oozie,SparkSQL) ...
分类:
数据库 时间:
2019-05-12 13:36:39
阅读次数:
163
数据挖掘涉及多学科技术的集成,包括数据库技术、统计、机器学习、高性能计算、模式识别、神经网络、数据可视化、信息提取、图象与信号处理和空间数据分析。 原则上讲,数据挖掘可以在任何类型的信息存储上进行。这包括关系数据库、数据仓库、事务数据库、先进的数据库系统、展平的文件和 Web。先进的数据库系统包括面 ...
分类:
其他好文 时间:
2019-05-10 09:29:17
阅读次数:
128
1Hive简介 Hive对我来说就是一个基于HDFS的数据仓库,它提供了一个种类SQL语言(和SQL标准基本一样又有一些特殊的地方不一样),能让不精通Java语言而熟悉SQL语言的工程师,快速的对HDFS或其他存储文件系统如Amazon,S3,上的数据进行数据分析,是Hadoop生态系统中非常重要的 ...
分类:
其他好文 时间:
2019-05-03 11:37:53
阅读次数:
170
大数据技术的体系庞大且复杂,基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架,主要分为下面几个方面:数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。在这里还是要推荐下我自己建的大数据学习交流群:529867072,群里都是学大数据开发的,如果你正在学习大数据,小
分类:
其他好文 时间:
2019-05-01 11:57:36
阅读次数:
141