import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.streaming.{Seconds, StreamingContext} import scala.collectio... ...
分类：
其他好文 时间：
2017-10-16 22:05:21
阅读次数：
197
前言 ：在网上搜了一大圈，发现少有对X86寄存器有较完善归纳的，基本上都在讨论普通目的(GPRs)寄存器，在此汇总记录一下目前得到的结论以备忘。 1. 先看一下现实情况 X86-64下gdb查看进程寄存器： 这些能看到的是CPU的普通寄存器，还有一些寄存器是这里看不到的。 2. 回顾一下历史 在X8 ...
分类：
其他好文 时间：
2017-10-16 19:37:55
阅读次数：
139
功能：随机读取1.txt文件内的一行 发送到6667端口 备注：需要同时运行监听程序 ...
分类：
其他好文 时间：
2017-10-16 12:22:04
阅读次数：
121
import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object DStream_socket { def main(args: Array[String]):... ...
分类：
其他好文 时间：
2017-10-15 21:21:17
阅读次数：
284
KSQL是基于Kafka的Streams API进行构建的流式SQL引擎，KSQL降低了进入流处理的门槛，提供了一个简单的、完全交互式的SQL接口，用于处理Kafka的数据。 KSQL是一套基于Apache 2.0许可开源的、分布式的、可扩展的、可靠的和实时的组件。支持多种流式操作，包括聚合（agg ...
分类：
数据库 时间：
2017-10-14 20:07:29
阅读次数：
234
流式（streaming）和批量（ batch）：流式数据，实际上更准确的说法应该是unbounded data(processing)，也就是无边界的连续的数据的处理；对应的批量计算，更准确的说法是bounded data(processing)，亦即有明确边界的数据的处理。 近年来流式计算框架编 ...
分类：
其他好文 时间：
2017-10-14 19:49:00
阅读次数：
209
Spark Streaming 是core Spark的一个扩展，用来处理实时数据流，数据源可以来自Kafka, Flume, HDFS等，经过复杂的算法处理后，存入HDFS，数据库，或者实时的Dashboards. 从内部来看，Spark Streaming把进来的流式数据切成一小块一小块，然后再 ...
分类：
其他好文 时间：
2017-10-13 10:14:41
阅读次数：
160
流（Streaming），在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。 日常工作、生活中数据来源很多不同的地方。例如：工业时代的汽车制造、监控设备、工业设备会产生很多源数据；信息时代的电商网站、日志服务器、社交网络、金融交易系统、黑 ...
分类：
其他好文 时间：
2017-10-11 18:12:11
阅读次数：
247
本文讲解Spark流数据处理之Spark Streaming。本文的写作时值Spark 1.6.2发布之际，Spark 2.0预览版也已发布，Spark发展如此迅速，请随时关注Spark Streaming官方文档以了解最新信息。 文中对Spark Streaming的讲解主要使用到Scala语言， ...
分类：
其他好文 时间：
2017-10-11 18:11:46
阅读次数：
130
