由于从各光伏电站采集的数据量较大，必须解决海量数据的查询、分析的问题。目前主要考虑两种方式：1. Hadoop大数据技术；2. Oracle（数据仓库）+BI； 本文仅介绍hadoop的技术要应用特征。 Hadoop 基本介绍 hadoop是一个平台，是一个适合大数据的分布式存储和计算的平台。什么是 ...
分类：
其他好文 时间：
2016-06-13 15:07:10
阅读次数：
280
中介绍了如何基于Mongodb进行关系型数据的分布式存储，有了存储就会牵扯到查询。虽然用普通的方式也可以进行查询，但今天要介绍的是如何使用MONGODB中提供的MapReduce功能进行查询。 有关MongoDb的MapReduce之前我写过一篇文章 Mongodb Mapreduce 初窥， 今天 ...
分类：
数据库 时间：
2016-06-01 01:39:38
阅读次数：
291
一：课程结构
二：hadoop是什么
hadoop是适合大数据的分布式存储与计算的平台
三：数据的分布式存储
四：hadoop中的概念
在分布式存储系统中，分散在不同节点中的数据可能属于同一个文件，为了组织众多的文件，把文件可以放到不同的文件夹中，文件夹可以一级一级的包含。我们把这种组织形式称为命名空间（namespace）。命名空间管理着整个服务...
分类：
其他好文 时间：
2016-05-13 03:12:12
阅读次数：
167
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于B ...
分类：
移动开发 时间：
2016-05-12 10:38:44
阅读次数：
308
稀疏矩阵：M*N的矩阵，矩阵中有效值的个数远小于无效值的个数，且这些数据的分布没有规律如下图所示：一般情况下，我们会想到只要交换对应的行和列，但是这种做法很浪费时间和空间，所以我们可以利用三元组进行存储，压缩存储极少数的有效数据，使用{row，col，value}三元组存..
分类：
其他好文 时间：
2016-05-11 20:12:00
阅读次数：
203
Hadoop是什么？ Hadoop： 适合大数据的分布式存储和计算平台 Hadoop不是指具体一个框架或者组件，它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量数据进行分布式计算。适合大数据的分布式存储和计算平台。 Hadoop1.x中包括两... ...
分类：
其他好文 时间：
2016-04-26 19:05:38
阅读次数：
190
1.Hadoop是什么?Hadoop是一个由Apache基金会所开发的分布式系统基础架构。适合大数据的分布式存储与计算平台，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed Fil ...
分类：
其他好文 时间：
2016-04-19 17:16:03
阅读次数：
157
稀疏矩阵的特点M*N矩阵，矩阵中有效值的个数远远小于无效值的个数，并且这些数据的分布没有规律。例如下面的矩阵稀疏矩阵的压缩存储压缩矩阵值存储极少数的有效数据。使用三元组来存储每一个数据，三元组数据按照矩阵中的位置，以行优先顺序依次存放。则上述矩阵的存储结构为三..
分类：
其他好文 时间：
2016-04-18 07:44:02
阅读次数：
261
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于B ...
分类：
数据库 时间：
2016-04-12 07:07:59
阅读次数：
308
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBa
分类：
系统相关 时间：
2016-03-15 18:42:01
阅读次数：
250
