Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的,基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点,并且设计用来部署在低廉的硬件上,适合那些有着超大数据集的应用程序 MapR ...
分类:
其他好文 时间:
2020-07-06 15:47:59
阅读次数:
67
开源界最近很热闹啊,各个主流软件或框架漏洞频发,比如像 Struts2、FastJSON、Dubbo、Redis、Tomcat 等都存在各种各样的漏洞。 不要使用含有漏洞的组件每次也都被评为 OWASP 10 大安全漏洞之一。 光这半年以来,栈长知道的,通过公众号Java技术栈发布的就有 Dubbo ...
分类:
其他好文 时间:
2020-07-06 13:11:45
阅读次数:
118
集群环境 kafka+zkIP地址 主机名 Kafka版本 ZooKeeper版本 JDK版本172.17.0.2 kafka_node1 kafka_2.12-2.2.1.tgz zookeeper-3.4.14.tar.gz jdk-8u161-linux-x64.tar.gz172.17.0. ...
分类:
其他好文 时间:
2020-07-06 13:09:22
阅读次数:
50
Kafka安装部署 Kafka依赖zookeeper,默认kafka有自带的zookeeper,但是一般情况使用自建的好一些 1、 安装zookeeper 1) 创建目录 mkdir /data/kafka/zookeeper/{log,data} -p 2) 下载zookeeper安装包 cd / ...
分类:
其他好文 时间:
2020-07-06 10:58:34
阅读次数:
97
服务端: 先在服务端写接口以及接口实现类: package com.gupao.dubbo; public interface GPDubboService { public String sayHello(String msg); } package com.gupao.dubbo; public ...
分类:
其他好文 时间:
2020-07-05 17:48:28
阅读次数:
103
今天花了一下午的时间搞了一下dubbo service支持http访问的demo从dubbo 2.6.0 开始dubbo已经支持了http访问service的,网上也找了一下我的环境是springboot+dubbo的,网上的dubbo都是用xml去配置的,我的是springboot没有xml 1) ...
分类:
编程语言 时间:
2020-07-05 15:31:28
阅读次数:
101
分布式调度——zookeeper 一、为什么需要zookeeper 大部分分布式应用需要一个主控、协调器或控制器来管理物理分子的子进程(如资源、任务分配等) 大部分应用需要开发私有的协调程序,缺乏一个通用的机制 协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器 协调服务 二、zookeepe ...
分类:
其他好文 时间:
2020-07-05 15:25:19
阅读次数:
113
==背景== 阿里云ECS服务器提示“ZooKeeper未授权访问高危风险” ==相关组件及版本== Linux:Centos 8.0 Zookeeper:3.5.6 Hadoop:2.8.3 Flink:1.10.0 ==Zookeeper ACL介绍== 网上随便找一个网站看看就应该可以了解了, ...
分类:
其他好文 时间:
2020-07-05 15:23:42
阅读次数:
207
打开zookeeper集群之后,zk正常,但是kafka启动之后总是会挂掉,查找logs日志里的server.log文件发现问题: 问题:A broker is already registered on the path /brokers/ids/0. This probably indicate ...
分类:
其他好文 时间:
2020-07-05 15:07:11
阅读次数:
103
面试官心理分析 面试官问了你一堆 dubbo 是怎么玩儿的,你会玩儿 dubbo 就可以把单块系统弄成分布式系统,然后分布式之后接踵而来的就是一堆问题,最大的问题就是分布式事务、接口幂等性、分布式锁,还有最后一个就是分布式 session。 当然了,分布式系统中的问题何止这么一点,非常之多,复杂度很 ...
分类:
其他好文 时间:
2020-07-05 13:18:21
阅读次数:
69