hadoop 分布式计算框架。 common // hdfs //存储 mapreduce //MR,编程模型. yarn //资源调度. 集群部署 1.standard alone/local nothing. 2.伪分布式 一台机器. NN //目录 DN //DataNode,block（12 ...
分类：
其他好文 时间：
2019-09-16 23:50:45
阅读次数：
134
前言 先列出java并发涉及的知识点,后面再慢慢补. java并发 1 常见概念 进程:程序执行的实体,操作系统资源调度资源分配的基本单元 线程:程序执行的最小单元,拥有独立的堆栈和局部变量等属性,可以共享进程的资源 同步是串行执行,阻塞 异步是并行执行,非阻塞 并发:多个任务交替执行 并行:多个任 ...
分类：
编程语言 时间：
2019-09-12 00:07:41
阅读次数：
115
7.1 Kubernetes架构 K8s的核心组件： etcd： 协同存储，负责保存整个集群的状态。 API：资源操作的唯一入口。 controller manager: 维护集群的状态，执行故障检测、自动扩展、滚动更新。 Scheduler:负责资源调度，按照预定的调度策略将Pod调度到相应的机器 ...
分类：
Web程序 时间：
2019-09-11 23:36:28
阅读次数：
135
Master端(1)KubernetesMaster主要是对外提供统一管理入口API，通过API入口可以管理和控制集群节点(2)Api-server主要是用户和K8S集群的管理入口，提供一些增删改查的操作指令，基于REST风格来管理的，封装一个管理入口，所有的操作必须经过API接口(3)Scheduler主要是用于提供集群资源调度，当一台Minion节点奔溃，可以将节点上的容器在其他的节点快速启动
分类：
Web程序 时间：
2019-09-04 13:21:13
阅读次数：
108
虚拟化 虚拟化技术产品 KVM VMware IBM 服务器虚拟化（服务器、存储、系统、网络、软件、桌面） VMware 高可用性（HA） VM系统启动时间+应用启动时间+15秒左右的心跳检测时间。 VMware分布式资源调度（DRS） 虚拟化的优势 虚拟化可以提高 IT 敏捷性、灵活性和可扩展性， ...
分类：
其他好文 时间：
2019-09-04 00:12:47
阅读次数：
142
1.什么是Hadoop？ Hadoop是一款进行数据处理和分析的软件，包含HDFS（分布式文件存储系统）,MapReduce（分布式计算框架），Yarn（分布式资源调度任务分配框架）。 Hadoop来源于谷歌2003-2004年发布的三篇论文，基于这三篇论文doug cutting( 来自 luce ...
分类：
其他好文 时间：
2019-08-18 14:02:04
阅读次数：
112
Hadoop三大组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上（分布式存储） 分布式运算编程框架：MapReduce——实现多台机器的分布式并行运算。（分布式运算） 分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源 Hive ...
分类：
其他好文 时间：
2019-08-14 14:26:48
阅读次数：
115
1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。 1.2. HDFS架构原理 比如现在要上传一个1T的大文件，提交给HDFS的 （用以存放文件目录树，权限设置，副本数设置等 ...
分类：
其他好文 时间：
2019-08-13 17:25:04
阅读次数：
89
分析和理解 Kubernetes 的设计理念可以使我们更深入地了解 Kubernetes 系统，更好地利用它管理分布式部署的云原生应用，另一方面也可以让我们借鉴其在分布式系统设计方面的经验。 能力抽象 与一般的 PaaS 平台相比，K8S 也是支持服务部署、自动运维、资源调度、扩缩容、自我修复、负载 ...
分类：
Web程序 时间：
2019-08-04 19:28:07
阅读次数：
99
进程调度概述 多任务处理机制是需要进行进程调度的本质原因。 cpu的资源是有限的，因此需要使用调度器来为线程分配cpu资源。调度器的主要目的是解决 cpu争用的问题，使得每个进程可以按照一定的规则进行运行。 那么如何来分配CPU的运行时间呢？比较传统和朴素的想法就是给每个进程分配优先级， 根据优先级 ...
分类：
系统相关 时间：
2019-07-29 14:17:05
阅读次数：
132
