Hive是个啥? 用类似sql语句实现对分布式存储系统的数据读写、管理功能。 HIVE特点 1.使用类sql语句分析大数据,避免MapReduce程序分析数据 2.数据存储在HDFS上,不是HIVE上 3.Hive将数据映射成数据库和一张张表,库和表的元数据信息一般存在关系型数据库。 元数据:描述数 ...
分类:
其他好文 时间:
2020-07-13 12:07:13
阅读次数:
73
高并发负载均衡实验 描述 node1 [root@MDNode01 ~]# ifconfig eth0 Link encap:Ethernet HWaddr 00:0C:29:BF:3A:BE inet addr:192.168.25.50 Bcast:192.168.25.255 Mask:255 ...
分类:
其他好文 时间:
2020-07-12 22:44:57
阅读次数:
82
Shell编程-1 what>why>how学习方向 shell bash bash 解释器,启动器 用户的交互输入 文本文件输入 [root@MDNode01 shell]# ps -fe UID PID PPID C STIME TTY TIME CMD root 1 0 0 03:27 ? 0 ...
分类:
系统相关 时间:
2020-07-12 22:27:51
阅读次数:
109
LVS的ipvsadm 1、安转 yum search ipvsadm yum install ipvsadm ipvsadm帮助命令 ipvsadm -h 管理集群服务: 2、使用 常用的管理命令 添加:ipvsadm -A -t|u|f service-address [-s scheduler ...
分类:
其他好文 时间:
2020-07-12 22:25:04
阅读次数:
90
一,执行流程 由图我们可以看到, MapReduce存在以下4个独立的实体。 JobClient:运行于client node,负责将MapReduce程序打成Jar包存储到HDFS,并把Jar包的路径提交到Jobtracker,由Jobtracker进行任务的分配和监控。 JobTracker:运 ...
分类:
其他好文 时间:
2020-07-12 22:18:50
阅读次数:
82
高并发入门基础-1 Nginx网络基础 lvs:四层架构 nginx:七层架构 网络分层: 应用层7 nginx软件 HTTP协议、ssh协议 表示层6 TCP协议、UDP协议 会话层5 传输层4 lvs内核 三次握手-->>四次分数 网络层3 IP协议、ICMP协议 链路层2 物理层1 TCP/I ...
分类:
其他好文 时间:
2020-07-12 22:11:31
阅读次数:
70
LVS-DR实验 百度百科: 可伸缩网络服务的几种结构,它们都需要一个前端的负载调度器(或者多个进行主从备份)。我们先分析实现虚拟网络服务的主要技术,指出IP负载均衡技术是在负载调度器的实现技术中效率最高的。在已有的IP负载均衡技术中,主要有通过网络地址转换(Network Address Tran ...
分类:
其他好文 时间:
2020-07-12 22:11:19
阅读次数:
96
Linux的用户管理 用户 权限 资源 相对于的管理 useradd 创建一个用户 useradd [用户名] passwd passwd [用户名] 下一步输入密码和确定密码 用户之间不能相互访问 groupadd 添加组,groupadd 组名 usermod 给用户添加组 usermod -a ...
分类:
系统相关 时间:
2020-07-12 22:07:37
阅读次数:
88
Linux的变量 作用域: 本地 局部 位置 特殊 环境 本地变量 当前的shell拥有 生命周期随shell name=gob [root@MDNode01 shell]# echo $$ 1091 [root@MDNode01 shell]# syy=123 [root@MDNode01 she ...
分类:
系统相关 时间:
2020-07-12 22:05:32
阅读次数:
67
科技公司飞速发展和数字科技日益重要的今天,万物互联、人工智能的时代业已到来,海量数据资产被创造出来并亟待分析,从而衍生出了很多前所未有的业务需求,而大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。未来,更多人将学会分析数据,并将数据的洞察运用到工作和生活中的方方面面。什么是大数据大数据,IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处
分类:
其他好文 时间:
2020-07-12 16:30:47
阅读次数:
87