创建一个文件夹 bin/hdfs dfs -mkdir /input 将要统计的文件上传到hadoopbin/hadoop fs -put /test.txt /input 利用hadoop进行词频统计bin/hadoop jar share/hadoop/tools/lib/Hadoop-stre ...
分类：
其他好文 时间：
2019-05-10 16:16:13
阅读次数：
101
这个用例的逻辑很简单, 服务器运行一个管理个人信息的服务, 提供如下的四个服务: (1) 添加一个个人信息 注: 对应于Unary RPCs, 客户端发送单一消息给服务器, 服务器返回单一消息 (2) 添加多个个人信息 注: 对应于Client streaming RPCs, 客户端使用提供的str ...
分类：
其他好文 时间：
2019-05-09 10:38:57
阅读次数：
115
Spark Core官网学习回顾 Speed disk 10x memory 100x Easy code interactive shell Unified Stack Batch Streaming ML Graph Deployment Local... ...
分类：
其他好文 时间：
2019-05-07 22:59:01
阅读次数：
130
写在前面 本文主要介绍Spark Streaming基本概念、kafka集成、Offset管理 本文主要介绍Spark Streaming基本概念、kafka集成、Offset管理 一、概述 Spark Streaming顾名思义是spark的流式处理框架，是面向海量数据实现高吞吐量、高可用的分布式 ...
分类：
其他好文 时间：
2019-04-30 17:20:59
阅读次数：
145
在大数据的各种框架中，hadoop无疑是大数据的主流，但是随着电商企业的发展，hadoop只适用于一些离线数据的处理，无法应对一些实时数据的处理分析，我们需要一些实时计算框架来分析数据。因此出现了很多流式实时计算框架，比如Storm，Spark Streaming，Samaz等框架，本文主要讲解Sp ...
分类：
其他好文 时间：
2019-04-30 17:19:01
阅读次数：
208
随着数据时代的到来，数据的实时计算也越来越被大家重视。实时计算的一个重要方向就是实时流计算，目前关于流计算的有很多成熟的技术实现方案，比如Storm、Spark Streaming、flink等。我今天要讲的kafka streams体量上来说没有那么大，都算不上一个框架，只是kafka的一个类库。 ...
分类：
其他好文 时间：
2019-04-29 19:24:43
阅读次数：
241
STOMP即Simple (or Streaming) Text Orientated Messaging Protocol，简单(流)文本定向消息协议，它提供了一个可互操作的连接格式，允许STOMP客户端与任意STOMP消息代理（Broker）进行交互。STOMP协议由于设计简单，易于开发客户端， ...
分类：
Web程序 时间：
2019-04-21 20:04:18
阅读次数：
932
研究大数据和数据挖掘的都知道，并行化算法研究是大数据领域一个较为重要的研究热点。近年来国内外开始关注在 Spark 平台上如何实现各种机器学习和数据挖掘并行化算法设计。Spark 提供了大量的库，包括SQL、DataFrames、MLlib、GraphX、Spark Streaming。 开发者可以 ...
分类：
其他好文 时间：
2019-04-20 09:58:04
阅读次数：
139
`作者：jiangzz 电话：15652034180 微信：jiangzz_wx 微信公众账号：jiangzz_wy` 背景介绍 :将大规模流动数据在不断变化的运动过程中实现数据的实时分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。 主流流计算框架 :Kafka Streaming、Apac ...
分类：
Web程序 时间：
2019-04-17 16:30:16
阅读次数：
255
Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存 ...
分类：
其他好文 时间：
2019-04-14 17:44:05
阅读次数：
162
