码迷,mamicode.com
首页 >  
搜索关键字:spark history    ( 9960个结果
Spark-Streaming结合Redis
1、JedisConnectionPool.scala package sparkstreaming import redis.clients.jedis.{Jedis, JedisPool, JedisPoolConfig} object JedisConnectionPool{ val conf ...
分类:其他好文   时间:2020-08-07 18:03:42    阅读次数:62
spark sql/hive小文件问题
针对hive on mapreduce 1:我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并: 参数详细内容可参考官网:https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties 1 2 3 4 ...
分类:数据库   时间:2020-08-03 19:56:21    阅读次数:103
JavaScript10—BOM
BOM是指浏览器对象模型,可以使我们通过JS来操作浏览器,在BOM中为我们提供了一组对象,用来完成对浏览器的操作。 BOM对象 Window — 代表的是整个浏览器的窗口,同时window也是网页中的全局对象 Navigator — 代表的当前浏览器的信息,通过该对象可以来识别不同的浏览器 Loca ...
分类:编程语言   时间:2020-08-02 12:49:26    阅读次数:110
[XState] History state
const displayMachine = createMachine({ initial: "hidden", states: { hidden: { on: { TURN_ON: "visible.hist", }, }, visible: { initial: "light", states ...
分类:其他好文   时间:2020-07-31 18:03:45    阅读次数:89
git 命令集锦
工作区 add >Stage(暂存区) cimmit >History(历史版本库) git add 文件或文件夹 git commit 把暂存区的修改提交到当前分支,提交后Stage会被清空 git commit -a(或文件或文件夹) 直接把所有文件的修改添加到暂存区并执行提交 git comm ...
分类:其他好文   时间:2020-07-29 21:27:55    阅读次数:68
VueCli路由配置
import Vue from 'vue' import Router from 'vue-router' Router.prototype.go = function(t) { this.isBack = true console.log('go ' + this.history.current. ...
分类:其他好文   时间:2020-07-29 10:29:00    阅读次数:83
Spark 数据处理相关代码
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.3.3</version> </dependency> <!-- https://mvnrepos ...
分类:其他好文   时间:2020-07-29 09:53:42    阅读次数:61
《hadoop 集群搭建、spark安装、Hbase安装、Hive安装、Kafka安装》
1 hadoop集群安装 https://blog.csdn.net/shshheyi/article/details/84893371 1.1 修改主机名 [root@localhost ~]# vim /etc/hosts # 三台机器都需要操作 192.168.28.131 master 19 ...
分类:其他好文   时间:2020-07-29 00:41:18    阅读次数:111
spark系列之基本概念
Spark的架构图 1、RDD(弹性分布式数据集) RDD是对象的分布式集合。 RDD以并行方式应用和记录数据转换 RDD也提供数据沿袭——以图形形式给出每个中间步骤的祖先树,当RDD的一个分区丢失,可以根据祖先树重建该分区。 RDD有两组操作,转换(transformation)和行动(actio ...
分类:其他好文   时间:2020-07-28 22:37:30    阅读次数:72
spark中的透视函数pivot
透视函数其实就是我们excel中常用的数据透视表相似,先来看个例子。 以下是准备的数据源,数据是电商系统中用户的行为数据(浏览,收藏,加购,成交,评分等),score为统计次数。 对应的字段分别为 租户id,用户id,商品编码Id,行为事件代码,当日统计次数,统计日期。 现在我们要转换成目标的数据是 ...
分类:其他好文   时间:2020-07-28 17:17:13    阅读次数:131
9960条   上一页 1 ... 25 26 27 28 29 ... 996 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!