一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，
分类：
其他好文 时间：
2019-11-26 09:35:53
阅读次数：
66
前言关于kafka的工作机制，已经在上篇博文：Kafka原理及单机部署中详细写出来，这里只是将kafka的一个群集部署写了出来。博文大纲：一、环境准备二、部署zookeeper服务三、部署kafka集群一、环境准备部署kafka群集所需的安装包，可以从我的网盘链接中下载。二、部署zookeeper服务1、主机kafka01配置如下#部署zookeeper[root@kafka01src]#tarz
分类：
其他好文 时间：
2019-11-26 09:32:32
阅读次数：
78
本文主要介绍了高德在服务单元化建设方面的一些实践经验，服务单元化建设面临很多共性问题，如请求路由、单元封闭、数据同步，有的有成熟方案可以借鉴和使用，但不同公司的业务不尽相同，要尽可能的结合业务特点，做相应的设计和处理。 ...
分类：
其他好文 时间：
2019-11-25 11:24:58
阅读次数：
56
本文从实践出发，介绍如何在windows环境下搭建hadoop环境，并介绍一个绝大多数人都会遇到的报错：Error: JAVA_HOME is incorrectly set. Please update C:\hadoop-2.7.7\conf\hadoop-env.cmd 让你在本地单机模式下也... ...
最近我们有个服务经常出现存储的数据出现重复，首先上一个系统流程图： 用户通过http请求可以通知任务中心结束掉自己发送的任务，这时候任务中心会通过MQ通知结束服务去结束任务保存数据，由于任务结束数据计算保存有一定延时，所以存在用户短时间内多次结束同一个任务，这时候就会导致我们结束服务对同一个任务保存 ...
分类：
其他好文 时间：
2019-11-22 19:22:45
阅读次数：
80
1、使用ruby脚本搭建集群。需要ruby的运行环境。安装ruby yum install ruby2、安装ruby脚本运行使用的包 gem install redis-3.0.0.gem > 前提这个文件你已经上传到你的linux虚拟机上了 Successfully installed redis ...
分类：
其他好文 时间：
2019-11-21 22:56:06
阅读次数：
92
1.ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)原因：找不到properties文件，或者配置文件路径指定错误 办法：指定配置文件路径 2.Configured broker.id 130 doesn’t match stored ...
分类：
其他好文 时间：
2019-11-20 15:25:49
阅读次数：
65
即时通讯软件（IM）发展到今天功能已经越来越齐全，我们的日常生活中不管是社交、网上购物还是工作都已经离不开即时通讯软件。今天小编就为大家推荐六个即时通讯的开源项目，分别从不同语言、不同应用方面带给大家一些 IM 软件开发的思路。 推荐项目1、轻量、高性能、单机支持几十万至百万在线用户IM J-IM ...
分类：
其他好文 时间：
2019-11-20 12:52:40
阅读次数：
160
HDFS 1.hdfs整体工作机制： 1>hdfs:分布式文件系统。 hdfs：分布式文件系统 hdfs有着文件系统共同的特征： 2>有目录结构，顶层目录是： / 3>系统中存放的就是文件 4>系统可以提供对文件的：创建、删除、修改、查看、移动等功能 2.hdfs跟普通的单机文件系统有区别： 1>单 ...
分类：
其他好文 时间：
2019-11-17 23:55:37
阅读次数：
136
