1.基于Receiver的方式 这种方式使用Receiver来接收kafka中的数据，Receiver是基于kafka的高层Consumer API来实现的。Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处 ...
分类：
其他好文 时间：
2020-06-15 22:58:10
阅读次数：
60
基本思想 与flink流的join原理不同的是，Spark双流join是对俩个流做满外连接 ，因为网络延迟等关系，不能保证每个窗口中的数据key都能匹配上，这样势必会出现三种情况：（some，some），（None，some），（Some,None）,根据这三种情况，下面做一下详细解析： （some ...
分类：
其他好文 时间：
2020-06-15 21:21:14
阅读次数：
156
Spark文档阅读之Programming Guides - Quick Start。学习spark-shell任务提交方法和独立spark任务的创建和提交执行。 ...
分类：
其他好文 时间：
2020-06-15 20:41:53
阅读次数：
51
hash vue-router 默认 hash 模式 —— 使用 URL 的 hash 来模拟一个完整的 URL，于是当 URL 改变时，页面不会重新加载。 URL：http://www.abc.com/#/hello, hash 的值为#/hello 。 hash 虽然出现URL中，但不会被包含在 ...
分类：
其他好文 时间：
2020-06-15 17:48:58
阅读次数：
52
router-link 不带参数 <router-link :to="{name:'home'}"> <router-link :to="{path:'/home'}"> //name,path都行, 建议用name // 注意：router-link中链接如果是'/'开始就是从根路由开始，如果开始 ...
分类：
其他好文 时间：
2020-06-15 17:42:24
阅读次数：
62
企业介绍： 中国电信上海理想信息产业（集团）有限公司，成立于1999年，注册资本7000万元，是上海市投资规模较大的信息技术企业之一。母公司员工500多人，其中80％以上员工具有大学本科以上学历，从事软件开发人员超过50％，是一个典型的“知识密集型”企业。 通过整合公司内各事业部多年大型项目实施的整 ...
分类：
其他好文 时间：
2020-06-15 00:04:45
阅读次数：
78
1添加pom.xml配置 <build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>src/test/scala</testSourceDirectory> <plugins> <plugin> <g ...
分类：
数据库 时间：
2020-06-14 18:56:57
阅读次数：
138
代码： import re import datetime from pyspark.sql import SparkSession from pyspark import SparkContext from elasticsearch import Elasticsearch spark=Spar ...
分类：
编程语言 时间：
2020-06-14 17:09:05
阅读次数：
125
1.手写数字数据集 from sklearn.datasets import load_digits digits = load_digits() 2.图片数据预处理 x：归一化MinMaxScaler() y：独热编码OneHotEncoder()或to_categorical 训练集测试集划分 ...
分类：
其他好文 时间：
2020-06-14 16:52:22
阅读次数：
84
1. 用idea的maven项目 package 打包, 去 Linux 执行 spark-submit --class com.Spark_HDFS --master local ./SXC-1.0-SNAPSHOT.jar 遇到 找不到主类 , 这时候需要更加稳定的打包方式 去打包 scala ...
分类：
其他好文 时间：
2020-06-14 12:57:57
阅读次数：
127
