1.Spark是什么?UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架。dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不 ...
分类：
其他好文 时间：
2019-05-09 15:29:52
阅读次数：
89
1大数据解决的问题？ 海量数据的存储：hadoop->分布式文件系统HDFS 海量数据的计算：hadoop->分布式计算框架MapReduce 2什么是MapReduce? 分布式程序的编程框架，java->ssh ssm ，目的：简化开发！ 是基于hadoop的数据分析应用的核心框架。 mapre ...
分类：
其他好文 时间：
2019-05-02 09:39:18
阅读次数：
137
每次都有学员问加米谷大数据请添加链接描述有没有简单的速成方法学习，我想了一下要是真的有所谓速成方法那大数据这门学科的技术也就没什么门槛什么人都能学，那对于想拿高工资的你来说还有什么意义，如果你是小白还是老老实实的看完下面的内容。下面的是我整理的一张思维导图，内容分成几大块，包括了分布式计算与查询，分布式调度与管理，持久化存储，大数据常用的编程语言等等内容，每个大类下有很多的开源工具，这些就是作为大
分类：
其他好文 时间：
2019-04-30 15:37:48
阅读次数：
123
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。在这里还是要推荐下我自己建的大数据学习交流群:529867072，群里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入,大家都是软件
分类：
其他好文 时间：
2019-04-28 12:30:06
阅读次数：
125
实时计算接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。而实时计算是在数据产生时就对其进行计算，然后实时展示结果，一般是秒级。举个例子来说，如果有个大型网站，要实时统计用户的搜索内容，这样就能计算出热点新闻及突发事件了。按照以前离线计算的做法是不能满足的，需要使用到实时计算。小明作为有理想、有追求的程序员开始设计其解决方案了，主要分三部分。每当搜索内容的数据产
分类：
其他好文 时间：
2019-04-23 17:37:27
阅读次数：
140
hadoop的基本概念伪分布式hadoop集群安装hdfs、MapReduce演示互联网正在从IT走向DT时代。大数据应用分析1、统计类的分析2、推荐类的分析3、机器学习（分类，聚类）4、人工智能、预测（算法）一、什么是hadoop官网：http://hadoop.apache.orghadoop是apache旗下的一套开源软件平台。是一个可靠的、可扩展的、可分布式计算的开源软件。apacheha
分类：
其他好文 时间：
2019-04-19 12:11:49
阅读次数：
176
业外人士如何了解云计算、机器学习、深度学习、人工智能、和大数据之间有什么内在联系？从应用的角度来阐述一下这五个概念之间的联系。 这五个概念按照领域可以划分成两个大部分，先分别介绍这些概念的内部联系，然后再综合介绍他们整体之间的联系。 云计算和大数据 云计算和大数据的很多研究内容是重叠的，比如分布式存 ...
分类：
其他好文 时间：
2019-04-19 01:01:54
阅读次数：
180
linux基础 为hadoop集群的搭建扫清了障碍，也为内存的管理，文件系统的管理扫清了障碍 接着到Hadoop的阶段，首先做集群的安装，深入到使用这两个核心的组件，分布式文件系统HDFS，解决大量数据怎么存储的问题，第二个就是分布式计算MapReduce。MapReduce的包含Yarn和MapR ...
分类：
其他好文 时间：
2019-04-07 20:31:25
阅读次数：
128
一、Mapreduce概述 Mapreduce是分布式程序编程框架，也是分布式计算框架，它简化了开发！ Mapreduce将用户编写的业务逻辑代码和自带默认组合整合成一个完整的分布式运算程序，并发的运行在hadoop集群上。 二、Mapreduce优缺点 优点：1.易于编程：只用实现几个接口即可完成 ...
分类：
其他好文 时间：
2019-03-24 09:39:32
阅读次数：
136
1. 写在前面 Flink被誉为第四代大数据计算引擎组件，即可以用作基于离线分布式计算，也可以应用于实时计算。Flink的核心是转化为流进行计算。Flink三个核心：Source,Transformation,Sink。其中Source即为Flink计算的数据源，Transformation即为进行 ...
分类：
数据库 时间：
2019-03-20 21:02:59
阅读次数：
434
