码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop hive parquet    ( 33788个结果
省选模拟测试23
考的是某年 \(FJWC\) 的题。 \(T1\) 比较简单的构造题,但自己考试的时候犯了个 \(zz\) 错误,把边权搞错了,就只拿了 \(50\) 分。 \(T2\) 大数据结构题,一开始想打暴力的,但要分类讨论好多种情况,就没写。 \(T3\) 思维题,打死都想不出正解的那照片那种。 T1 直 ...
分类:其他好文   时间:2021-04-01 13:19:13    阅读次数:0
RDD编程练习
一、filter,map,flatmap练习: 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatM ...
分类:其他好文   时间:2021-04-01 13:07:18    阅读次数:0
Spark RDD编程基础
准备文本文件从文件创建RDD lines=sc.textFile() 筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类:其他好文   时间:2021-03-30 13:26:11    阅读次数:0
03 Spark RDD编程基础
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类:其他好文   时间:2021-03-30 13:18:46    阅读次数:0
Kafka 概述
1.1 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue) , 主要应用于大数据实时处理领域 1.2 消息队列 1.2.1 传统消息队列的应用场景 ? 使用消息队列的好处 1) 解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2) ...
分类:其他好文   时间:2021-03-30 13:07:59    阅读次数:0
mysql8.0.20 安装 详解
# 下载 官网地址:https://downloads.mysql.com/archives/get/p/23/file/mysql-8.0.20-linux-glibc2.12-x86_64.tar.xz ################清理原有mysql环境################### ...
分类:数据库   时间:2021-03-30 13:06:10    阅读次数:0
Spark RDD编程基础
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter() 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类:其他好文   时间:2021-03-30 13:05:37    阅读次数:0
03 Spark RDD基础编程
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类:其他好文   时间:2021-03-30 12:53:37    阅读次数:0
Spark RDD编程
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 3. ...
分类:其他好文   时间:2021-03-30 12:53:01    阅读次数:0
Spark RDD编程
1. 准备文本文件: 从文件创建RDD lines=sc.textFile(): 筛选出含某个单词的行 lines.filter(),lambda 参数:条件表达式: 2. 生成单词的列表: 从列表创建RDD words=sc.parallelize(): 筛选出长度大于2 的单词 words.fi ...
分类:其他好文   时间:2021-03-29 12:46:01    阅读次数:0
33788条   上一页 1 ... 21 22 23 24 25 ... 3379 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!