码迷,mamicode.com
首页 >  
搜索关键字:spark rdd    ( 7287个结果
代做通达信指标公式、5日市场成本32日市场成本公式
飞狐5分钟换手率指标 代做通达信指标公式、博易大师策略公式调试、5日市场成本32日市场成本主图指标公式飞狐市场成本5日32日主图指标源码原理解析VAR1赋值:成交量(手)/成交量(手)的5日累和输出市场成本(5日): 以VAR1为权重收盘价的动态移动平均VARC赋值:成交额(元)/成交量(手)/10 ...
分类:其他好文   时间:2020-01-03 21:35:27    阅读次数:77
8、Yarn资源调度系统架构与原理分析
本文详细的介绍了Hadoop的Yarn架构与原理分析
分类:其他好文   时间:2020-01-03 19:39:26    阅读次数:84
spark-streaming对接kafka的两种方式
spark-streaming对接kafka有两种方式:1.基于receiver的方式,属于高级API,简单但是效率低,容易丢失数据(可以设置WAL)。它的原理是:receiver从kafka拉取数据存储到executor的内存中,spark-streaming启动job处理数据。偏移量保存在zoo ...
分类:其他好文   时间:2020-01-03 14:07:49    阅读次数:84
充提系统常见问题解答
问:通过Api创建的地址和通过Api添加的地址是否都会被监控到? 答:会,监听到会员的充值,程序会把数据传输给用户填写的回调URL 问:会回调哪些内容,我又应该怎样处理? 答:下面是回调的内容 { 'appid'=>'ba1e6***6fse', 'time'=>1577862810, 'sign' ...
分类:其他好文   时间:2020-01-01 17:05:38    阅读次数:77
2019-12-30面试反思
面试公司: 一家中小型电商 面试中的问题: 思路不要太跳跃性, 不然容易尬。 引导的时候脑子需要快速运转该说什么。 自己熟的那块一定要准备充分答出百分之80以上。 排序算法, 选一个说: 建议快排, 归并, 面试前手写一下找找感觉。 挖坑桶排: 需要对难点做准备: 按照什么条件分桶? 空间利用率的优 ...
分类:其他好文   时间:2019-12-31 20:08:27    阅读次数:108
2.Spark 2.x 集群部署和测试
配置免密度登录 执行 ssh-keygen -t rsa#建立 ssh 目录,一路敲回车, 生成的密钥对 id_rsa, id_rsa.pub,默认存储在~/.ssh 目录下 现在给slave1节点设置公钥 执行 ssh-keygen -t rsa#建立 ssh 目录,一路敲回车, 生成的密钥对 i ...
分类:其他好文   时间:2019-12-31 19:01:20    阅读次数:105
Hadoop分布式集群安装
一 整体介绍 1.1 硬件环境 本文使用三台服务器搭建hadoop集群,使用Centos7.5系统,服务器均有独立ip 1.2 部署的软件 部署服务:namenode(HA),resourcemanager(HA),zookeeper,hbase(HA),spark,kafka,geomesa 版本 ...
分类:其他好文   时间:2019-12-31 14:12:21    阅读次数:94
再识spark
一.示例 1.统计PV和UV 1.1统计PV val conf = new SparkConf() conf.setMaster("local").setAppName("pvuv") val sc = new SparkContext(conf) val lineRDD = sc.textFile ...
分类:其他好文   时间:2019-12-30 14:16:01    阅读次数:89
spark初识
一.简介 1.什么是spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架,Spark拥有Hadoop MapReduc ...
分类:其他好文   时间:2019-12-30 14:10:45    阅读次数:100
Spark 数据倾斜及其解决方案
本文从数据倾斜的危害、现象、原因等方面,由浅入深阐述Spark数据倾斜及其解决方案。 ...
分类:其他好文   时间:2019-12-30 11:24:02    阅读次数:99
7287条   上一页 1 ... 80 81 82 83 84 ... 729 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!