Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS,查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源,存储资源,实现并行计算 Hive支持标准的SQL语法,免去了编写 ...
分类:
其他好文 时间:
2020-07-10 19:33:44
阅读次数:
77
cat hadoop-env.sh export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08" cat yarn-env.sh YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08" cat hbase-env ...
分类:
其他好文 时间:
2020-07-10 19:26:31
阅读次数:
86
1、Redis-x64-3.2.100是原始解压文件,未做任何改动 2、集群实例为3主3从,端口分别为 主:6381 从:6384 主:6382 从:6385 主:6383 从:6386 3、修改配置 (1)修改端口号 port 8001 (2)指定数据文件存放目录,必须要指定不同目录,否则会丢失数 ...
先达到极限,然后再突破它 HA高可用 HA概述 所谓HA(High Available),即高可用(7*24小时不中断服务)。 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。 Hadoop2.0之前,在HDFS集群中NameNode存在 ...
分类:
其他好文 时间:
2020-07-10 17:23:12
阅读次数:
61
需求背景 项目需要对接大数据平台,定时更新相关的统计数据 version SpringBoot: 2.2.4.RELEASE MySQL: 5.5.4 Quartz: 2.3.0 实现 导入数据库表 因为Quartz 集群依赖于数据库,所以必须首先创建Quartz数据库表。Quartz 包括了所有被 ...
分类:
编程语言 时间:
2020-07-10 15:14:54
阅读次数:
97
1、什么是 Redis?简述它的优缺点? 2、Redis 与 memcached 相比有哪些优势? 3、Redis 支持哪几种数据类型? 4、Redis 主要消耗什么物理资源?5、Redis 有哪几种数据淘汰策略? 6、Redis 官方为什么不提供 Windows 版本?7、一个字符串类型的值能存储 ...
分类:
其他好文 时间:
2020-07-10 15:02:54
阅读次数:
67
IP隧道(Tunnel)模式(VS-TUN) ? 原理:互联网上的大多Internet服务的请求包很短小,而应答包通常很大。那么隧道模式就是,把客户端发来的数据包,封装一个新的IP头标记(仅目的IP)发给RS,RS收到后,先把数据包的头解开,还原数据包,处理后,直接返回给客户端,不需要再经过负载均衡 ...
分类:
其他好文 时间:
2020-07-10 13:35:16
阅读次数:
99
1、集群是什么? 1 集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。 2 集群组成后,可以利用多个计算机和组合进行海量请求处理(负载均衡),从而获得很高的处理效率,也可以用多个计 ...
分类:
其他好文 时间:
2020-07-10 13:20:06
阅读次数:
120
为什么选择RocketMQ,而不是其他MQ 性能:阿里支撑,经受住淘宝,天猫双11重重考验;性能高;可靠性好;可用性高;易扩展。 功能:功能完善,我们需要的功能基本都够满足,如:事务消息,消息重试,死信队列,定时消息等。 易用:跨平台:跨语言,多协议接入(支持HTTP, MQTT, TCP协议,支持 ...
分类:
其他好文 时间:
2020-07-10 11:42:57
阅读次数:
128
1. 模拟调用一个服务的多个实例 我们现在有两个服务, 一个getway服务, 另一个是order服务. 使用的是nacos管理配置文件和服务注册中心 假如我现在product服务要调用order服务. product服务有1台, order服务有3台. 那么是如何实现负载均衡的呢? 下面我们来模拟 ...
分类:
其他好文 时间:
2020-07-10 10:00:23
阅读次数:
76