码迷,mamicode.com
首页 > 其他好文 > 详细

大数据的概述

时间:2018-12-24 22:35:05      阅读:411      评论:0      收藏:0      [点我收藏+]

标签:flume   saas   资源   var   手机   services   解决问题   mapreduce   str   

一、什么是大数据

四个特性(4个V)

数据量大(Volume)

  • 大数据摩尔定律:IDC估测数据一直以50%的速度增长,到2020年,全球将拥有35ZB的数据量。(GB>TB>PB>EB>ZB)

快速化(Velocity)

  • 处理速度快,1秒级决策

多样化(Varity)

  数据类型繁多,大部分为非结构化数据。(文本,图像,视频等等等等)

  • 10%结构化数据,储存在数据库中
  • 90%非结构化数据,与人类信息密切相关

价值密度低(Value)

  • 价值密度低,很多数据并没有价值,可能有用的数据比例很低,但确有巨大的商业价值

 

二、大数据的影响

1、Jim Gary总结在科学研究上,人类从实验,理论,计算(计算机)发展到了数据时代。现代可以以数据为驱动,比如我们不知道问题是什么,可以仅仅通过分析数据,从而发现问题,并解决问题。

2、大数据颠覆了传统的思维方式

-  全样而非抽样

  • 由于存储和计算的技术发展,现在可以处理全部数据而不需要做统计抽样。

- 效率而非精确

  • 统计抽样要求算法精度非常高,不然放在全样时误差会被放得特别大。而现在可以全样分析,是多大误差就多大误差,我们现在更注重计算的效率。

- 相关而非因果

  • 不问为什么,只找关联。(比如淘宝告诉用户,买产品A的用户同时买了产品B,不会告诉用户为什么买产品B,只陈述这样的相关事实)

 

三、大数据的应用

典型应用实例

1、影视剧投资

例如:某公司对整个互联网作大数据分析,发现如果有导演大卫芬奇,影帝凯文史派西拍摄著名小说《纸牌屋》会取得成功,这也是美剧《纸牌屋》的由来。

2、谷歌预测流感

过去由各个医疗机构汇报趋势再汇总,判断是否有流感趋势,这个过程非常缓慢。

而谷歌拥有大量用户,从用户搜索流感药品的关键词,通过大数据技术,实时分析以后就可以得出是否有流感趋势,实时性非常高。

 

四、大数据关键技术

  1. 数据采集
  2. 数据存储和管理
  3. 数据处理与分析
  4. 数据隐私与安全

最关键的两点,两大核心技术:

  1. 分布式存储
  2. 分布式处理

 

大数据的计算模式

  1. 批处理计算:MapReduce, Spark (实时性低,不能做到秒级相应)。
  2. 流计算:比如日志流,用户点击流,数据一直到达。一旦批量处理则失去商业性。Storm, S4,Flume等。
  3. 图计算:图形结构的处理。 Pregel, GraphX, Giraph等。
  4. 查询分析计算: 交互式查询分析。Dremel, Hive, Cassandra等等。这类实时性很高。

 

五、大数据与云计算、物联网的关系。

云计算:通过网络,以服务的方式为用户提供非常廉价的IT资源(不再需要自己底层构建设施:建机房,维护设备等等。云计算也有自己的数据中心,一般由数千个刀片服务器组成)。

云计算主要解决两个问题:

  1. 解决海量的分布式存储和处理
  2. 虚拟化,多租户 

云计算的三种服务

IaaS(Infrastructure as a Service): Amazon EC2,IBM Blue Cloud,Sun Grid

  • 把底层设施当做服务提供给用户

Paas(Platform as a Service): IBM IT factory, Google App Engine, Force.com

  • 云计算的开发环境,提供各种接口,满足客户开发云产品的需求。

SaaS(Software as a Service): Google Apps, Microsoft "Software + Services"

  • 软件放在云端,不再需要本地安装,只要有网络,则可以在云端使用软件。

 

物联网(Internet of Things, IOT):物物相连的互联网,是互联网的延伸。比如掌上公交,可以用手机实时定位公交,等于把你的手机和公交实时连接在了一起。

  1. 第一层:感知层,传感器,摄像头等等。
  2. 第二场:网络层,通过网络传到数据中心。电信网,互联网,电网等等。
  3. 第三层:处理层
  4. 第四层:应用层

物联网的关键技术

最关键的是感知技术:二维码,RFID,传感器等等。

 

总结:云计算为大数据提供了技术基础。大数据为物联网提供数据分析支撑。物联网为云计算提供了应用空间。

大数据的概述

标签:flume   saas   资源   var   手机   services   解决问题   mapreduce   str   

原文地址:https://www.cnblogs.com/learnwhileucan/p/10171290.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!