//1.准备环境val conf: SparkConf = new SparkConf().setAppName("_01SparkGraphx").setMaster("local[*]")val sc: SparkContext = new SparkContext(conf)sc.setLog ...
分类：
其他好文 时间：
2019-11-05 01:14:53
阅读次数：
102
private[spark] class FairSchedulingAlgorithm extends SchedulingAlgorithm { override def comparator(s1: Schedulable, s2: Schedulable): Boolean = { val ... ...
分类：
编程语言 时间：
2019-11-04 15:39:14
阅读次数：
90
一、概述1、什么是hive?由Facebook开源用于解决海量结构化日志的数据统计。是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质上其实就是将HQL/SQL转化为MapReduce或者spark任务执行，然后返回结果。有以下几个本质：1）Hive处理的数据存储在HDFS。默认在在/user/hive/warehouse/<databas
分类：
其他好文 时间：
2019-11-03 14:40:54
阅读次数：
85
1 目的 Spark Streaming整合Flume。参考官方整合文档（http://spark.apache.org/docs/2.2.0/streaming-flume-integration.html） 2 整合方式一：基于推 2.1 基本要求 flume和spark一个work节点要在同一 ...
分类：
Web程序 时间：
2019-11-02 12:16:54
阅读次数：
119
一、Scala环境基础Scala对Java相关的类，接口进行了包装，所以依赖Jvm环境。Jdk1.8scala依赖scala2.11安装版本idea2017.3开发工具二、配置Scala解压版1）注意路径无空格和中文2）配置环境变量添加到path目录%SCALA_HOME%\bin3）检测是否安装配置成功，没错就是这么简单。三、配置Idea开发1）插件安装，就是点点点2）新建两个maven项目在s
Spark是用于大规模数据处理的快速通用的计算引擎。 相较MR快的原因：其任务中间结果存在内存中，在迭代运算中尤为明显，DAG的设置。 架构说明： Dirver：负责节点通讯，task分发，结果回收 Worker：资源管理的从节点 Master：资源调度的主节点 Dirver：负责节点通讯，task ...
分类：
其他好文 时间：
2019-11-01 10:00:23
阅读次数：
98
SparkSQL采用Spark on Hive模式，hive只负责数据存储，Spark负责对sql命令解析执行。
SparkSQL基于Dataset实现，Dataset是一个分布式数据容器，Dataset中同时存储原始数据和元数据(schema) ...
分类：
数据库 时间：
2019-11-01 09:24:31
阅读次数：
82
0)摘要 主要介绍了Spark Streaming整合Kafka，两种整合方式：Receiver-based和Direct方式。这里使用的是Kafka broker version 0.8.2.1，官方文档地址：（http://spark.apache.org/docs/2.2.0/streamin ...
分类：
其他好文 时间：
2019-10-31 23:40:35
阅读次数：
97
1、生成票据 1.1、创建认证用户 登陆到kdc服务器，使用root或者可以使用root权限的普通用户操作： # kadmin.local -q “addprinc -randkey spark/yjt” 1.2、生成密钥文件 生成spark密钥文件 # kadmin.local -q “xst - ...
分类：
其他好文 时间：
2019-10-31 10:30:24
阅读次数：
319
姓名：胡非凡 学号：201821121081 班级：计算1813 目录 1 实验目的 2 实验内容 3. 实验报告 3.1 建立网络拓扑结构 3.2 配置参数 3.3 测试网络连通性 3.4 理解RIP路由表建立和更新 4. 理解RIP消息传得慢 5. 拓展 1 实验目的 2 实验内容 3. 实验报 ...
分类：
其他好文 时间：
2019-10-30 21:07:25
阅读次数：
174
