关于FFT IP核的配置，网上有很多相关的资料可以参考，但是唯独涉及到scaled压缩因子设置这个参数，资料却非常匮乏，这是个什么参数，应该整么设置，设置后对结果输出会有什么影响，整样才能知道它设置的合理不合理？ 先来看一下官方说明手册里关于scaled的说明： 翻译过来就是：对于Pipelined ...
分类：
其他好文 时间：
2019-08-20 12:53:14
阅读次数：
224
官网文档中，大概可分为这几个 TransformationsWindow OperationsJoin OperationsOutput Operations 请了解一些基本信息： DStream是Spark Streaming提供的基本抽象。它表示连续的数据流，可以是从源接收的输入数据流，也可以是 ...
分类：
其他好文 时间：
2019-08-19 11:30:06
阅读次数：
98
我做的是 Streaming拉取kafka的直连方式 案例 错误原因是我包引入错误 你们好好检查一下 ...
分类：
Web程序 时间：
2019-08-18 09:30:16
阅读次数：
269
一、版本说明 Spark 针对 Kafka 的不同版本，提供了两套整合方案： 和 ，其主要区别如下： | | "spark streaming kafka 0 8" | "spark streaming kafka 0 10" | | : | : | : | | Kafka 版本 | 0.8.2.1 ...
分类：
其他好文 时间：
2019-08-15 19:37:27
阅读次数：
77
一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume style Push based ...
分类：
Web程序 时间：
2019-08-15 09:24:53
阅读次数：
106
一、基于Receiver的方式1、概述基于Receiver的方式：Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处理那些数据。然而，... ...
分类：
其他好文 时间：
2019-08-13 15:41:08
阅读次数：
99
Spark-Streaming DirectKafka count 统计跟直接 kafka 统计类似，只不过这里使用的是 Direct 的方式，Direct方式使用的 kafka 低级API，不同的地方主要是在 createDirectStream这里。 统计代码如下 启动相关的 flume，kaf ...
分类：
其他好文 时间：
2019-07-28 19:56:51
阅读次数：
109
Streaming 统计来自 kafka 的数据，这里涉及到的比较，kafka 的数据是使用从 flume 获取到的，这里相当于一个小的案例。 1. 启动 kafka 2. 启动 flume flume 配置文件如下 这里 flume 是的数据是来自一个文件，只要这个文件有数据进入，就会被flume ...
分类：
其他好文 时间：
2019-07-28 19:55:02
阅读次数：
110
Streaming hdfs count 需要先启动 hadoop 集群。 hadoop 启动成功之后，下面就是关于 stream 的代码，stream 统计代码如下，将下面的代码进行打包，上传到服务器上即可。 代码需要传递两个参数，一个是 stream 监控的数据输入目录，一个是输出目录。对应的执 ...
分类：
其他好文 时间：
2019-07-28 19:25:40
阅读次数：
83
通常说的大数据平台主要包括三部分： 数据相关的工具、产品和技术： – 批量数据采集传输sqoop，spark – 离线数据处理Hadoop，Hive，Spark – 实时流处理Storm，Spark Streaming，Flink ? 数据资产： – 公司业务本身产生和沉淀的数据 – 公司运作产生的 ...
分类：
其他好文 时间：
2019-07-25 00:46:13
阅读次数：
176
