紧接上一次。 这次是对于spark安装的总结。 首先便是下载spark。 从官网上可以找到用户提供Hadoop环境的安装包，另外值得一提的是用户也可以无需自己安装hadoop而是选择原装包括了hadoop的安装包。 放入虚拟机之后解压缩，修改权限，之后就可以开始配置了。 配置文件需要配置slaves ...
分类：
其他好文 时间：
2020-01-18 14:25:52
阅读次数：
82
HDFS，是Hadoop Distributed File System的简称，是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成，甚至可以通过Web协议（webhsfs）来操作。HDFS的文件分布在集群机器上，同时提供副本进行容错及可靠性保证。例 ...
1.MapReduce是什么 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词， 一是软件框架，二是并行处理，三是可靠 ...
分类：
其他好文 时间：
2020-01-17 13:43:04
阅读次数：
78
简介 Yet Another Resource Negotiator ,负责整个集群资源的调度，和管理，支持多框架资源统一调度（HIVE spark flink） 开启yarn 安装hadoop，可以看我之前的博文 这边就不讲了 编辑 etc/hadoop/mapred-site.xml: 添加如下 ...
分类：
其他好文 时间：
2020-01-17 13:08:54
阅读次数：
81
1.1 失败 1.1.1 任务失败 Map和reduce任务失败：Map或者reduce任务有缺陷，抛出异常，JVM会会向applicationmaster 发出错误报告，applicationmaster将任务标记为failed，将错误报告写入用户日志，释放资源。 Stream任务失败：Strea ...
分类：
移动开发 时间：
2020-01-17 09:31:56
阅读次数：
123
Spark的安装和使用 安装的是spark-2.1.0-bin-without-hadoop.tgz 修改了Spark的配置文件spark-env.sh 添加了配置信息： export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop class ...
分类：
其他好文 时间：
2020-01-16 22:19:38
阅读次数：
93
概述 平时工作用python的机会比较多，习惯了python函数式编程的简洁和优雅。切换到java后，对于数据处理的『冗长代码』还是有点不习惯的。有幸的是，Java8版本后，引入了Lambda表达式和流的新特性，当流和Lambda表达式结合起来一起使用时，因为流申明式处理数据集合的特点，可以让代码变 ...
分类：
编程语言 时间：
2020-01-16 20:32:22
阅读次数：
101
1.spark 架构， scala，IDE，compiler，plugin，hadoop，resourcemanager，taskscheduler，line，递归函数，memory，shuffle， dag,stage,taskset, sparksql,rdd,dataframe 二维表格，sq ...
分类：
其他好文 时间：
2020-01-16 14:23:34
阅读次数：
118
1、认识Hadoop和Hbase 1.1 hadoop简单介绍 Hadoop是一个使用java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务 ...
分类：
其他好文 时间：
2020-01-16 13:00:17
阅读次数：
97
接下来记录一下HBase存储原理相关的知识，理解尚浅，后续再补充。 索引 hbase中没有索引，但是mysql有，区别在于mysql是行级存储，hbase是列级存储，索引对行级存储有意义，对于列级存储意义不大。 如下图所示，不管是mysql还是hbase，最终数据都会落地成文件，当给行级存储建立索引 ...
分类：
其他好文 时间：
2020-01-16 01:15:32
阅读次数：
86
