码迷,mamicode.com
首页 >  
搜索关键字:Spark core    ( 25089个结果
Clang Static Analyzer-使用手册-编写Checker代码实现
Clang Static Analyzer-使用手册-编写Checker代码实现 示例程序MainCallChecker.cpp #include"ClangSACheckers.h"#include"clang/StaticAnalyzer/Core/BugReporter/BugType.h"# ...
分类:其他好文   时间:2021-04-10 13:02:00    阅读次数:0
大数据框架exactly-once底层实现原理,看这篇文章就够了
一、大数据框架三种语义???? 在分布式系统中,如kafka、spark、flink等构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka 中,broker 可能会 crash,在 producer 推送数据至 topic 的过程中也可能会遇到网络问题。根据 producer 处理此 ...
分类:其他好文   时间:2021-04-09 13:27:18    阅读次数:0
Maven安装
环境准备: 系统版本:CentOS Linux release 7.5.1804 (Core) 软件版本:apache-maven-3.8.1-bin.zip 安装目录:/application/ 安装: 下载安装包: wget https://mirrors.bfsu.edu.cn/apache/ ...
分类:其他好文   时间:2021-04-09 13:05:21    阅读次数:0
K8S集群搭建
一、 环境和版本 1. 操作系统 干干静静的centos7系统,选取的是mini的iso最小化安装 # cat /etc/centos-release CentOS Linux release 7.3.1611 (Core) # cat /proc/version Linux version 3.1 ...
分类:其他好文   时间:2021-04-08 13:37:16    阅读次数:0
Spring定时任务动态取消/创建/修改
首先配置ThreadPoolTaskScheduler线程池: package cn.demo.support.config; import org.springframework.context.annotation.Bean; import org.springframework.context ...
分类:编程语言   时间:2021-04-08 13:36:55    阅读次数:0
ssm整合
SpringMVC web.xml 前端控制器servlet 中文乱码拦截器filter 支持rest风格的过滤器 spring-mvc.xml 扫描controller包 添加 视图解析器 静态资源拦截器 添加controller层 spring spring-core.xml 扫描除了contr ...
分类:其他好文   时间:2021-04-07 10:56:25    阅读次数:0
Bitter.Core 系列二(补充):Bitter ORM 全网最轻量化高性能的 ORM 之 .NETFRAMEWORK 版本数据库连接:Bitter ORM 全网最轻量化高性能的 ORM 之 .NETFRAMEWORK 版本数据库连接
Bitter ORM 全网最轻量化高性能的 ORM 之 .NETFRAMEWORK 版本数据库连接 下面使.NETFRAMEWORK Bitter orm 数据库连接配置,如需 NETCORE 版本的,请参考教程:https://www.cnblogs.com/davidchild/p/142766... ...
分类:数据库   时间:2021-04-06 15:14:06    阅读次数:0
RDD练习:词频统计
一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类:其他好文   时间:2021-04-06 15:08:22    阅读次数:0
PySpark第一篇.PySpark简介
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能,因此它开始出现。因此,引入了Apache Spark,因为它可以实时执行流处理,也可以处理批处理。 除了实 ...
分类:其他好文   时间:2021-04-06 15:01:09    阅读次数:0
spark中的持久化(cache()、persist()、checkpoint())
RDD持久化级别 | 持久化级别 | 含义解释 | | | | | MEMORY_ONLY | 使用未序列化的Java对象格式,将数据保存在内存中。如果内存不够存放所有的数据,则数据可能就不会进行持久化。那么下次对这个RDD执行算子操作时,那些没有被持久化的数据,需要从源头处重新计算一遍。这是默认的 ...
分类:系统相关   时间:2021-04-06 14:53:55    阅读次数:0
25089条   上一页 1 ... 23 24 25 26 27 ... 2509 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!