import org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.spark.streaming.Secondsimport org.apache.kafka.common.serialization.StringDes ...
分类：
其他好文 时间：
2018-12-27 20:25:32
阅读次数：
245
1 云集成 与云基础设施的集成。 1.1 介绍 所有主要的云提供商都在 对象存储 中提供持久的数据存储。这些不是经典的 文件系统。为了在不出现任何故障的情况下存储数百字节的数据，对象存储用一个更简单的 模型替换了传统的文件系统目录树。为了支持远程访问，对象上的操作通常使用(缓慢的) 协议接口。 可以 ...
分类：
其他好文 时间：
2018-12-23 00:28:01
阅读次数：
164
方法非常简单，不多废话，直接附操作流程： 1. 控制面板 声音，然后在弹出的窗口中右击不需要的（虚拟）设备，选择 。 2. 继续右击不需要的（虚拟）设备，选择 ，接着在控制器信息处再次点击 ，切换到 标签页，点击 ，注意如果勾选了 会把Steam删除！ ...
分类：
其他好文 时间：
2018-12-19 19:36:36
阅读次数：
745
Kafka 2.0 安装以及使用： http://www.tianshouzhi.com/api/tutorials/kafka/117 kafka实战： https://www.cnblogs.com/hei12138/p/7805475.html 1. 主要功能 根据官网的介绍，ApacheKa ...
分类：
其他好文 时间：
2018-12-18 14:40:34
阅读次数：
174
kafka测试数据生成： Stream join Stream测试代码： 要求：使用spark structured streaming实时读取kafka中的数据，kafka中的数据包含字段int_id；kafka上数据需要关联资源信息（通过kafka的int_id与资源的int_id进行关联），同 ...
分类：
其他好文 时间：
2018-12-15 21:39:04
阅读次数：
213
大数据日志传输之Kafka实战本套课程围绕Kafka架构详细讲解kafka的核心架构组件,broker,consumer,producer,以及日志的分段存储,稀疏索引,副本平衡,重分区,数据同步,Kafka的核心组控制器和消费者控制器等机制.全面讲解java最新版的api,指定分区消费,流控制,手动commit,异步Callback,同步的按照Partition进行批量commit等.实战集成S
分类：
其他好文 时间：
2018-12-14 17:35:52
阅读次数：
178
本文由作者张远道授权网易云社区发布。 转码集群的搭建 随着媒体技术的发展，以及硬件设备的普及和移动设备的触角延伸之社会各个角落，人们可以随时随地产生信息。而这些海量信息中，有不少多媒体信息。多媒体信 息成为了人们信息分享的重要方式。毫不夸张地说，现在是一个信息爆炸的时代。传统的电视，电影，视频网站， ...
分类：
其他好文 时间：
2018-12-14 14:52:53
阅读次数：
229
WaterMark除了可以限定来迟数据范围，是否可以实现最近一小时统计？ WaterMark目的用来限定参数计算数据的范围：比如当前计算数据内max timestamp是12::00，waterMark限定数据分为是60 minutes，那么如果此时输入11:00之前的数据就会被舍弃不参与统计，视为 ...
一.与CUDA相关的几个概念：thread，block，grid，warp，sp，sm。 sp: 最基本的处理单元，streaming processor 最后具体的指令和任务都是在sp上处理的。GPU进行并行计算，也就是很多个sp同时做处理 sm:多个sp加上其他的一些资源组成一个sm, stre ...
分类：
编程语言 时间：
2018-12-01 16:03:55
阅读次数：
291
Spark官网： http://spark.apache.org/ Spark是适用于大规模数据分析处理的框架， 通过DAG流程图的调度计算，适合处理批量Batch和流式Streaming数据， 相比于Hadoop速度提升100倍左右。 Spark提供四大框架 Spark SQL , SparkSt ...
分类：
其他好文 时间：
2018-12-01 15:28:20
阅读次数：
135
