干货走起,闲话不多说,以下就是小编整理的大数据学习思路第一阶段:linux系统本阶段为大数据学习入门基础课程,帮大家进入大数据领取打好Linux基础,以便更好的学习Hadoop、habse、NoSQL、saprk、storm等众多技术要点。另:目前企业中无疑例外是使用Linux来搭建或部署项目的在这里还是要推荐下我自己建的大数据学习交流群:529867072,群里都是学大数据开发的,如果你正在学习
分类:
其他好文 时间:
2019-05-11 12:17:54
阅读次数:
168
干货走起,闲话不多说,以下就是小编整理的大数据学习思路第一阶段:linux系统本阶段为大数据学习入门基础课程,帮大家进入大数据领取打好Linux基础,以便更好的学习Hadoop、habse、NoSQL、saprk、storm等众多技术要点。另:目前企业中无疑例外是使用Linux来搭建或部署项目的第二阶段:大型网站高并发处理本阶段的学习是为了让大家能够了解大数据的源头,数据从而而来,继而更好的了解大
分类:
其他好文 时间:
2018-10-31 20:07:13
阅读次数:
231
大数据 大数据 干货走起,闲话不多说,以下就是小编整理的大数据学习思路 第一阶段:linux系统 本阶段为大数据学习入门基础课程,帮大家进入大数据领取打好Linux基础,以便更好的学习Hadoop、habse、NoSQL、saprk、storm等众多技术要点。 另:目前企业中无疑例外是使用Linux ...
分类:
其他好文 时间:
2018-10-25 14:23:44
阅读次数:
166
官网:http://spark.apache.org/ spark是一个更快的快速而稳定的用于大规模数据处理的引擎 特点: 1、速度上,在内存中处理比Hadoop快100倍以上,在磁盘上处理hadoop块10倍以上,因为saprk有更先进的DAG执行引擎,能提供基于内存的计算模式。 2、更好用。能够 ...
分类:
其他好文 时间:
2017-02-14 14:04:00
阅读次数:
151
前言 Apache Zeppelin是一款基于web的notebook(类似于ipython的notebook),支持交互式地数据分析,即一个Web笔记形式的交互式数据查询分析工具,可以在线用scala和SQL对数据进行查询分析并生成报表。原生就支持Spark、Scala、SQL 、shell 、m ...
分类:
系统相关 时间:
2016-11-03 23:12:24
阅读次数:
684
Spark核心概念简介一个Spark应用都由驱动器程序发起集群上的各种并发操作,一个驱动器程序一般包含多个执行器节点,驱动器程序通过一个SaprkContext对象访问saprk。RDD(弹性分布式数据集)----分布式的元素集合,RDD支持两种操作:转化操作、行动操作,如map、reduce函数。
分类:
其他好文 时间:
2015-12-05 17:57:49
阅读次数:
158
使用spark 1.3.1scala> import sqlContext.createSchemaRdd结果报错::29: error: value createSchemaRdd is not a member of org.apache.spark.sql.SQLContext i...
分类:
其他好文 时间:
2015-05-15 17:26:14
阅读次数:
158
spark1.1相较于spark1.0,最大的差别就在于spark1.1增加了万人期待的CLI和ThriftServer。使得hive用户还有用惯了命令行的RDBMS数据库管理员很容易地上手sparkSQL,在真正意义上进入了SQL时代。下面先简单介绍其使用,限于时间关系,以后再附上源码分析。
1:ThriftServer和CLI的命令参数
A:令人惊讶的CLI...
分类:
数据库 时间:
2014-09-09 12:39:38
阅读次数:
387