码迷,mamicode.com
首页 >  
搜索关键字:spark streaming flume poll    ( 9853个结果
Java之Queue接口中add()/offer()、remove()/poll()、element()/peek()的区别
本文简单记录一下关于Queue接口中几种类似方法的区别: add() 和 offer() add() : 添加元素,如果添加成功则返回true,如果队列是满的,则抛出异常 offer() : 添加元素,如果添加成功则返回true,如果队列是满的,则返回false 区别:对于一些有容量限制的队列,当队 ...
分类:编程语言   时间:2021-04-09 12:57:32    阅读次数:0
226. 翻转二叉树
翻转二叉树,2种方案,递归与非递归 (个人更喜欢非递归的方案,大多数情况下非递归的迭代都拥有更低的时空间复杂度,当然也存在 傅里叶快速变换那种小而美的递归方案,见仁见智吧) 1. 递归(深度优先遍历方案) 此方案中,我们会直接从最顶层父节点,一路递归至最左侧叶子节点, 然后再递归至其父节点的右孩子, ...
分类:其他好文   时间:2021-04-07 11:36:18    阅读次数:0
SpringBoot中一个Http Call怎么到达数据库的
通过前面的章节我们知道Springboot会调用ServletWebServerApplicationContext#getWebServer方法启动tomcat 最终会调用TomcatWebServer#initialize这个方法,然后再调用tomcat#start方法,然后调用Lifecycl ...
分类:数据库   时间:2021-04-06 15:11:52    阅读次数:0
RDD练习:词频统计
一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类:其他好文   时间:2021-04-06 15:08:22    阅读次数:0
PySpark第一篇.PySpark简介
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能,因此它开始出现。因此,引入了Apache Spark,因为它可以实时执行流处理,也可以处理批处理。 除了实 ...
分类:其他好文   时间:2021-04-06 15:01:09    阅读次数:0
spark中的持久化(cache()、persist()、checkpoint())
RDD持久化级别 | 持久化级别 | 含义解释 | | | | | MEMORY_ONLY | 使用未序列化的Java对象格式,将数据保存在内存中。如果内存不够存放所有的数据,则数据可能就不会进行持久化。那么下次对这个RDD执行算子操作时,那些没有被持久化的数据,需要从源头处重新计算一遍。这是默认的 ...
分类:系统相关   时间:2021-04-06 14:53:55    阅读次数:0
大数据总结
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类:其他好文   时间:2021-04-05 12:37:34    阅读次数:0
Spark RDD编程基础
准备文本文件从文件创建RDD lines=sc.textFile() 筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类:其他好文   时间:2021-03-30 13:26:11    阅读次数:0
03 Spark RDD编程基础
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类:其他好文   时间:2021-03-30 13:18:46    阅读次数:0
Spark RDD编程基础
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter() 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类:其他好文   时间:2021-03-30 13:05:37    阅读次数:0
9853条   上一页 1 ... 8 9 10 11 12 ... 986 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!