码迷,mamicode.com
首页 >  
搜索关键字:spark streaming flume 整合 avro netcat    ( 21554个结果
深入理解Spark Streaming
一.DStream的两类操作 DStream内部其实是RDD序列,所有的DStream操作最终都转换为RDD操作。通过分析源码,可以进一步窥探这种转换是如何进行的。 DStream有一些与RDD类似的基础属性: 依赖的其它DStream列表。 生成RDD的时间间隔。 一个名为compute的计算函数 ...
分类:其他好文   时间:2020-07-20 13:13:18    阅读次数:64
运行spark时提示 env: ‘python’: No such file or directory
运行spark时提示如下信息: hadoop@MS-YFYCEFQFDMXS:/home/trp$ cd /usr/local/spark hadoop@MS-YFYCEFQFDMXS:/usr/local/spark$ ./bin/pyspark env: ‘python’: No such fi ...
分类:编程语言   时间:2020-07-19 23:47:58    阅读次数:111
spark 广播变量 累加器
广播变量object Main { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("readMysql").setMaster("local[2]") val sparkConte ...
分类:其他好文   时间:2020-07-19 11:44:16    阅读次数:62
COMP9313 week7b Spark SQL
https://www.cse.unsw.edu.au/~cs9313/20T2/slides/L6.pdf Table recall: 1. rows: entity 2. columns: attributes Spark SQL: 1. Spark SQL is not about sql, ...
分类:数据库   时间:2020-07-19 00:39:19    阅读次数:98
centos7 安装Flume
Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据 Flume架构和核心组件 Source 收集 Channel 处理 Sink 输出 1.安装java1.8版本 https://www.cnblogs.com/yoyo1216/p/12668926.html 2.创建 ...
分类:Web程序   时间:2020-07-18 22:50:30    阅读次数:97
使用Flume
实例1: 监听端口,把输入端口的信息以日志的形式输出到控制台中 cd /usr/local/flume/apache-flume-1.6.0-cdh5.9.0-bin/conf vim example.conf # 命名此代理上的组件 agent.sources = seqGenSrc # sour ...
分类:Web程序   时间:2020-07-18 22:49:42    阅读次数:97
切记,在进行flume监测文件时采用的是正则表达式
# Name the components on this agenta1.sources = r1a1.channels = c1 c2a1.sinks = k1 k2 #将数据流复制给所有channel#下边这句是默认的,不配置也可以#a1.sources.r1.selector.type = ...
分类:Web程序   时间:2020-07-18 19:54:00    阅读次数:103
SpringBoot整合Swagger3生成接口文档
前后端分离的项目,接口文档的存在十分重要。与手动编写接口文档不同,swagger是一个自动生成接口文档的工具,在需求不断变更的环境下,手动编写文档的效率实在太低。与新版的swagger3相比swagger2配置更少,使用更加方便。 一、pom文件中引入Swagger3依赖 <dependency> ...
分类:编程语言   时间:2020-07-18 15:50:16    阅读次数:397
VUE入门实例
引言 Vue (读音 /vju?/,类似于 view) 是一套用于构建用户界面的渐进式JavaScript框架。与其它大型框架不同的是,Vue 被设计为可以自底向上逐层应用。Vue 的核心库只关注视图层,方便与第三方库或既有项目整合。 1. 到官网下下vue.js vue官网我们这里使用开发版,它包 ...
分类:其他好文   时间:2020-07-18 11:19:23    阅读次数:62
Spring整合MyBatis
在pom.xml中添加MyBatis依赖 <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId> <version>3.5.5</version> </dependency> <dependency> ...
分类:编程语言   时间:2020-07-17 11:37:43    阅读次数:58
21554条   上一页 1 ... 62 63 64 65 66 ... 2156 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!