集群架构 SparkContext底层调度模块 Spark集群架构细化 ...
分类：
其他好文 时间：
2019-09-25 01:09:34
阅读次数：
82
HDP版本：2.6.4.0 Kylin版本：2.5.1 机器：三台 CentOS 7，8G 内存 Kylin 的计算引擎除了 MapReduce ，还有速度更快的 Spark ，本文就以 Kylin 自带的示例 kylin_sales_cube 来测试一下 Spark 构建 Cube 的速度。 一、 ...
分类：
其他好文 时间：
2019-09-25 00:40:34
阅读次数：
171
一、点击选择图片/拍照 二、将图片处理成base64 三、把base64转成图片路径显示在页面 四、点击预览图片 html部分 参考： "https://blog.csdn.net/qq_38244984/article/details/82221151" "https://blog.csdn.ne ...
分类：
微信 时间：
2019-09-23 15:33:02
阅读次数：
146
Pycharm2019.2.1永久激活 Pycharm2019.2.1永久激活 Pycharm官网自7月24更新到pycharm2019.2版本后，在短短的一个月内与8月23又带来新版本2019.2.1,不可说更新不快,对于"喜新厌旧"的我怎能错过新版本呢?本公众号将持续关注pycharm最新动向, ...
分类：
其他好文 时间：
2019-09-22 21:56:30
阅读次数：
767
一、简介在Spark中，提供了两种类型的共享变量：累加器(accumulator)与广播变量(broadcastvariable)：累加器：用来对信息进行聚合，主要用于累计计数等场景；广播变量：主要用于在节点间高效分发大对象。二、累加器这里先看一个具体的场景，对于正常的累计求和，如果在集群模式中使用下面的代码进行计算，会发现执行结果并非预期：varcounter=0valdata=Array(1,
分类：
其他好文 时间：
2019-09-22 02:04:54
阅读次数：
145
一、集群规划这里搭建一个3节点的Spark集群，其中三台主机上均部署Worker服务。同时为了保证高可用，除了在hadoop001上部署主Master服务外，还在hadoop002和hadoop003上分别部署备用的Master服务，Master服务由Zookeeper集群进行协调管理，如果主Master不可用，则备用Master会成为新的主Master。二、前置条件搭建Spark集群前，需要保证
分类：
其他好文 时间：
2019-09-22 01:43:37
阅读次数：
98
姓名：周俊丞 学号：201821035048 班级：计算1813 目录 1 实验目的 2 实验内容 3. 实验报告 3.1 DNS 3.2 FTP 3.3 DHCP 3.4 smtp和pop3 3.5 其他应用层协议 （不作要求，但属于加分项） 学号：201821035048 班级：计算1813 目 ...
分类：
其他好文 时间：
2019-09-22 01:39:17
阅读次数：
111
python3实战Spark大数据分析及调度 分享 python3实战Spark大数据分析及调度 分享 链接：https://pan.baidu.com/s/1YMmswv47fOUlt-z2A6691A提取码：z5xv 链接：https://pan.baidu.com/s/1YMmswv47fOU ...
分类：
编程语言 时间：
2019-09-22 01:34:55
阅读次数：
143
hadoop简介 hadoop是基于Java语言开发的，具有很好的跨平台性，并且可以部署在廉价的计算机群众，hadoop的核心是分布式文件系统HDFS（hadoop distributed file system）和mapreduce,HDFS具有较高的读写速度和和好的容错性和可伸缩性并且具有大规模 ...
分类：
其他好文 时间：
2019-09-21 18:47:50
阅读次数：
87
版本：spak2.3 相关源码：org.apache.spark.SparkContext 在创建spark任务时候，往往会指定一些依赖文件，通常我们可以在spark-submit脚本使用--files /path/to/file指定来实现。 但是架构上是通过livy来调spark任务，livy的实 ...
分类：
其他好文 时间：
2019-09-21 16:42:14
阅读次数：
115
