hadoop生产环境的使用是很复杂的,有些公司是CDH或者Ambari等管理工具运维的,有些是原生的集群俗称裸奔,前者优缺点是运维,查看监控等容易,对于底层理解不友好;裸奔集群反之,裸奔集群的很多东西都需要定制和自己开发,比如监控用zabbix,告警用企业微信,节点的异构严重的,需要二次开发配置文件 ...
分类:
其他好文 时间:
2020-07-13 13:17:45
阅读次数:
65
Hive是个啥? 用类似sql语句实现对分布式存储系统的数据读写、管理功能。 HIVE特点 1.使用类sql语句分析大数据,避免MapReduce程序分析数据 2.数据存储在HDFS上,不是HIVE上 3.Hive将数据映射成数据库和一张张表,库和表的元数据信息一般存在关系型数据库。 元数据:描述数 ...
分类:
其他好文 时间:
2020-07-13 12:07:13
阅读次数:
73
Elasticsearch 性能优化 Elasticsearch 是当前流行的企业级搜索引擎,设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。作为一个开箱即用的产品,在生产环境上线之后,我们其实不一定能确保其的性能和稳定性。如何根据实际情况提高服务的性能,其实有很多技巧。这章我们 ...
分类:
其他好文 时间:
2020-07-13 11:46:18
阅读次数:
75
一.Dubbo概述及配置项说明 1.什么是Dubbo Apache Dubbo 是一款高性能、轻量级的开源Java RPC框架,它提供了三大核心能力:面向接口的远程方法调用,智能容错和负载均衡,以及服务自动注册和发现。官网:DUBBO 节点说明: Provider:暴露服务的服务提供方 Consum ...
分类:
其他好文 时间:
2020-07-13 10:00:24
阅读次数:
97
高并发负载均衡实验 描述 node1 [root@MDNode01 ~]# ifconfig eth0 Link encap:Ethernet HWaddr 00:0C:29:BF:3A:BE inet addr:192.168.25.50 Bcast:192.168.25.255 Mask:255 ...
分类:
其他好文 时间:
2020-07-12 22:44:57
阅读次数:
82
LVS的ipvsadm 1、安转 yum search ipvsadm yum install ipvsadm ipvsadm帮助命令 ipvsadm -h 管理集群服务: 2、使用 常用的管理命令 添加:ipvsadm -A -t|u|f service-address [-s scheduler ...
分类:
其他好文 时间:
2020-07-12 22:25:04
阅读次数:
90
0 概述 1)准备3台客户机(关闭防火墙、静态ip、主机名称) 2)安装JDK 3)配置环境变量 4)安装Hadoop 5)配置环境变量 6)配置集群 7)单点启动 8)配置ssh 9)群起并测试集群 1 虚拟机准备 1). 克隆虚拟机 2). 修改克隆虚拟机的静态IP 3). 修改主机名 4). ...
分类:
系统相关 时间:
2020-07-12 22:11:59
阅读次数:
88
高并发入门基础-1 Nginx网络基础 lvs:四层架构 nginx:七层架构 网络分层: 应用层7 nginx软件 HTTP协议、ssh协议 表示层6 TCP协议、UDP协议 会话层5 传输层4 lvs内核 三次握手-->>四次分数 网络层3 IP协议、ICMP协议 链路层2 物理层1 TCP/I ...
分类:
其他好文 时间:
2020-07-12 22:11:31
阅读次数:
70
LVS-DR实验 百度百科: 可伸缩网络服务的几种结构,它们都需要一个前端的负载调度器(或者多个进行主从备份)。我们先分析实现虚拟网络服务的主要技术,指出IP负载均衡技术是在负载调度器的实现技术中效率最高的。在已有的IP负载均衡技术中,主要有通过网络地址转换(Network Address Tran ...
分类:
其他好文 时间:
2020-07-12 22:11:19
阅读次数:
96
最近F5设备里的远程代码执行漏洞可谓是火爆,漏洞评分10分,所以,我也想搭建下环境复现一下该漏洞 漏洞详情 F5 BIG-IP 是美国F5公司一款集成流量管理、DNS、出入站规则、web应用防火墙、web网关、负载均衡等功能的应用交付平台。在 F5 BIG-IP 产品的流量管理用户页面 (TMUI) ...
分类:
其他好文 时间:
2020-07-12 22:01:31
阅读次数:
104