Zookeeper用途场景： Zookeeper分布式服务框架是Apache Hadoop的一个子项目，主要是用来解决分布式应用经常遇到的一些数据管理问题。如：集群管理，统一命名服务，分布式配置管理，分布式消息队列，分布式说，分布式通知协调等。 越来越多的分布式开始依赖ZK，比如Storm，Hbas ...
分类：
其他好文 时间：
2019-05-04 14:39:06
阅读次数：
149
大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。Hadoop工程师用人企业普遍要求掌握以下技术：1、熟悉Linux开发环境，熟悉Shell命令2、熟悉Java、python、scala语言（至少一种）3、具备较丰富的基于Hadoop、MapReduce、Yarn、Storm、Spark、Hive、Hbase、kafka、F
分类：
其他好文 时间：
2019-05-03 16:24:53
阅读次数：
132
一、Storm （一）什么是Storm? Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流 ...
分类：
其他好文 时间：
2019-05-01 14:59:35
阅读次数：
146
大数据技术之Kafka一 Kafka概述 1.1 Kafka是什么 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由 ...
分类：
其他好文 时间：
2019-05-01 14:52:35
阅读次数：
142
在大数据的各种框架中，hadoop无疑是大数据的主流，但是随着电商企业的发展，hadoop只适用于一些离线数据的处理，无法应对一些实时数据的处理分析，我们需要一些实时计算框架来分析数据。因此出现了很多流式实时计算框架，比如Storm，Spark Streaming，Samaz等框架，本文主要讲解Sp ...
分类：
其他好文 时间：
2019-04-30 17:19:01
阅读次数：
208
随着数据时代的到来，数据的实时计算也越来越被大家重视。实时计算的一个重要方向就是实时流计算，目前关于流计算的有很多成熟的技术实现方案，比如Storm、Spark Streaming、flink等。我今天要讲的kafka streams体量上来说没有那么大，都算不上一个框架，只是kafka的一个类库。 ...
分类：
其他好文 时间：
2019-04-29 19:24:43
阅读次数：
241
重新学习一边前台。 1.常见浏览器的内核 Trident内核： IE内核 Gecko: firebox webkti: safari blink: chrome，基于webkti的二次开发 presto: Opera 2.web标准 内核不同，解析不同，显示也就是不同，存在差别。 所以，开发者就需要 ...
分类：
其他好文 时间：
2019-04-29 00:24:20
阅读次数：
218
今天晚上跟朋友吃了一顿小龙虾和烧烤，然后又看了一把复联四，顺便交流了一波java技术加吹牛，very happy! 周五早上有个去亚信的面试，咨询了在那个部门工作的小伙伴，说用到kalfka和storm.天呐我也有没实际用过，那就随便自学一点点外加背几题面试题吧。 一、kalfka Apache K ...
分类：
其他好文 时间：
2019-04-27 19:55:35
阅读次数：
157
Storm集群的安装分为以下几步： 1、首先保证Zookeeper集群服务的正常运行以及必要组件的正确安装 2、释放压缩包 3、修改storm.yaml添加集群配置信息 4、使用storm脚本启动相应服务并查看服务状态 5、通过web查看storm集群的状态 安装Storm之前首先保证之前安装的Zo ...
分类：
其他好文 时间：
2019-04-27 19:54:46
阅读次数：
174
1、pom文件依赖 2、Topology（拓扑中配置Spout，简单的配置可以不用单独的写KafkaSpout） 本打算用spring kafka的监听器去完成kafka的消费，实现KafkaSpout感觉有点绕，后面再研究，有相关经验的请告知更好的方式 3、Bolt, 负责拓扑请跟根据自己的业务 ...
分类：
其他好文 时间：
2019-04-26 16:42:10
阅读次数：
133
