码迷,mamicode.com
首页 > 其他好文 > 详细

K8S--集群安全

时间:2020-12-28 11:11:49      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:quota   jwt   man   种类型   指定   对象类型   安全性   create   调整   

机制说明

Kubernetes是一个分布式集群管理工具, 保证集群的安全性是一个重要任务. API Server是集群内部各个组件通信的中介, 也是外部控制的入口. 所以Kubernetes的安全机制基本围绕保护API Server来设计. Kubernetes使用了认证(Authentication), 鉴权(Authorization), 准入控制(Admission Control)三步来保证API Server的安全

技术图片

认证(Authentication)


  • HTTP Token认证 : 通过一个Token来识别合法用户

HTTP Token的认证是用一个很长的特殊编码方式的并且难以被模仿的字符串-token来表达客户的一种方式. Token是一个很长的很复杂的字符串, 每个token对应一个用户名存储在API Server能访问的文件中. 当客户点发起API 调用时, 需要在HTTP Header里放入token

  • HTTP Base认证: 通过用户名 + 密码的方式认证

用户名+ : + 密码用BASE64算法进行编码后的字符串放在HTTP Request中的Heather Authorization域里发送给服务端, 服务端收到后进行编码, 获取用户名及密码

  • 最严格的HTTPS证书认证: 基于CA根证书签名的客户端身份认证方式
  1. HTTPS证书认证:
    技术图片
  • token是使用API Server私钥签名的JWT. 用于访问API Server时, server端认证

  • ca.crt, 根证书. 用于Client端验证API Server发送的证书

  • namespace 表示这个service-account-token的作用域名空间

  • Kubernetes组件对API Server的访问: kubectl、Controller Manager、Scheduler、kubelet、kube-proxy

  • Kubernetes管理的Pod对容器的访问: Pod(dashborad也是以Pod形式运行)

  • Controller Manager、Scheduler与API Server在同一台机器, 所以直接使用API Server的非安全端口访问, --insecure-bind-address=127.0.0.1

  • Kubectl、kubelet、kube-proxy访问API Server就需要证书进行HTTPS双向认证

  • 手动签发: 通过K8S集群的跟CA进行签发HTTPS证书

  • 自动签发: kubelet首次访问API Server时, 使用token做认证, 通过后, Controller Manager会为Kubelet生成一个证书, 以后的访问都是用证书做认证了

2 .需要认证的节点

技术图片

两种类型

安全性说明:

证书颁发

3 . kubeconfig

kubeconfig文件包含集群参数(CA证书、API Server地址), 客户端参数(上面生成的证书和私钥), 集群context信息(集群名称, 用户名). Kubernetes组件通过启动时指定不同的kubeconfig文件可以切换到不同的集群

4 .ServiceAccount

Pod中的容器访问API Server, 因为Pod的创建、销毁是动态的, 所以要为他手动生成证书就不可行了. Kubernetes使用了 Service Account解决Pod访问API Server的认证问题

5 .Secret与SA关系

Kubernetes设计了一种资源对象 Secret. 分为两类 1. 用于 ServiceAccount的service-account-token, 2. 用于保存用户自定义保密信息的Opaque. Service Account中用到包含三个部分 : Token ca.crt namespace

kubectl get secret --all-namespaces

kubectl describe secret default-token-fpmdh --all-namespaces

默认情况下, 每个namespace都会有一个ServiceAccount, 如果Pod在创建时没有指定ServiceAccount, 就会使用Pod所需的namespace的ServiceAccount

技术图片

鉴权(Authorization)


认证过程, 只是确认通信的双方是可信的, 可以互相通信. 而鉴权是确定请求方有哪些资源的权限.API Server目前支持以下几种授权策略(通过API Server启动参数 --authorization-mode 设置)

  • AlwaysDeny: 表示拒绝所有的请求, 一般用于测试

  • AlwaysAllow: 允许接受所有的请求, 一般用于测试

  • ABAC(Attribute-Based Access Control) : 基于属性的访问控制, 表示使用用户配置的授权规则对用户请求进行匹配和控制 (已经被淘汰, 不能及时更新)

  • Webbook: 通过调用外部REST服务对用户进行授权

  • RBAC(Role-Based Access Control) : 基于角色的访问控制, 现行默认规则

RBAC授权模式

RBAC(Role-Based Access Control)基于角色的访问控制, 在Kubernetes1.5引入, 称为默认标准. 相比其他方式, 拥有以下优势:

  • 对集群中的资源和非资源均拥有完整的覆盖

  • 整个RBAC完全由几个API对象完成, 同其他API对象一样, 可以用kubectl或API进行操作

  • 可以在运行时进行调整, 无需重启API Server

RBAC的API资源对象说明

RBAC引入了4个新的顶级资源对象: Role 、ClusterRole 、RoleBinding 、ClusterRoleBinding 4种对象类型均可以通过kubectl与API操作
技术图片

Kubernetes并不会提供用户管理, Kubernetes组件(kubectl、kube-proxy)或是其他定义的用户在向CA申请证书时, 需要提供一个证书请求文件


{
    "CN": "admin",
    "hosts": [],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names":[
        {
            "c": "CN",
            "ST": "HangZhou",
            "L": "XS",
            "O": "system:masters",
            "OU": "System"
        }
    ]
}

API Server会把客户端证书的CN字段作为User, 把names.O字段作为Group

kubelet使用TLS Bootstraping认证时, API Server可以使用 Bootstrap Tokens或者 Token Authentication file验证=token, 无论哪一种, Kubernetes都会为token绑定一个默认的User和Group

Pod使用ServiceAccount认证时, service-account-token中的JWT会保存User信息, 有了用户信息,再创建一对角色/角色绑定(集群角色/集群角色绑定)资源对象,就可以完成权限绑定了

Role and ClusterRole
在RBAC API中, Role表示一组规则权限. 权限只会增加(累加权限) , 不存在一个资源一开始就有很多权限而通过RBAC对其进行减少的操作; Role可以定义在一个namespace中, 如果想要跨namespace则可以创建ClusterRole

kind: Role
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata: 
  namespace: default
  name: pod-reader
rules: 
- apiGroups: [""] 
  resources: ["pods"]
  verbs: ["get", "watch", "list"]

ClusterRole具有与Role相同的权限角色控制能力, 不同的是ClusterRole是集群级别的, ClusterRole可以用于:

  • 集群级别的资源控制(如: node访问权限)

  • 非资源型endpoint是(如: /healthz 访问)

  • 所有命名空间资源控制(如: Pods)
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata: 
  name: secret-reader
rules: 
- apiGroups: [""] 
  resources: ["secrets"]
  verbs: ["get", "watch", "list"]

RoleBinding and ClusterRoleBinding

RoleBinding可以将角色中定义的权限授予用户或用户组, RoleBinding包含一组权限列表(subjects) , 权限列表中包含有不同形式的待授权权限资源类型(User, groups, or service accounts); RoleBinding同样包含对被Bind的Role引用; RoleBinding适用于某个命名空间内授权, 而ClusterRoleBinding适用于集群范围内的授权

将default命名空间的pod-readerRole授予jane用户, 此后jane用户在default命名空间中将具有pod-reader的权限

kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata: 
  name: read-pods
  namespace: default
subjects: 
- kind: User
  name: jane
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: Role
  name: pod-reader
  apiGroup: rbac.authorization.k8s.io

RoleBinding同样可以引用ClusterRole来对当前namespace内用户、用户组或ServiceAccount进行授权, 这种操作允许集群管理员在整个集群内定义一些通用的ClusterRole, 然后在不同的namespace中使用RoleBinding来引用.

如 : 以下RoleBinding引用一个ClusterRole, 这个ClusterRole具有整个集群内对secrets的访问权限;但是其授权用户dave只能访问development空间中的secrets(因为RoleBinding定义在development命名空间)

kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata: 
  name: read-secrets
  namespace: development
subjects: 
- kind: User
  name: dave
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: ClusterRole
  name: secret-reader
  apiGroup: rbac.authorization.k8s.io

使用ClusterRoleBinding可以对整个集群中的所有的命名空间资源权限进行授权; 以下ClusterRoleBinding样例展示了授权manager组内所有用户在全部命名空间中对secrets进行访问

kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata: 
  name: read-secrets-global
subjects: 
- kind: Group
  name: manager
roleRef:
  kind: ClusterRole
  name: secret-reader
  apiGroup: rbac.authorization.k8s.io

Resources
Kubernetes集群内一些资源一般以其名称字符串来表示, 这些字符串一般会在API的URL地址中出现; 同时某些资源也会包含子资源, 例如logs资源就属于Pods的子资源, API中URL样例如下

GET /api/v1/namespaces/{namespace}/pods/{name}/log

如果要在RBAC授权模型中控制这些子资源的访问权限, 可以通过 / 分隔符来实现, 以下是 一个定义Pods资源logs访问权限的Role定义样例

kind: Role
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata: 
  namespace: default
  name: pod-and-pod-logs-reader
rules: 
- apiGroups: [""]
  resources: ["pods", "pods/log"]
  verbs: ["get", "list"]

to Subjects

RoleBinding和ClusterRoleBinding可以将Role绑定到Subjects; Subjects可以是Groups、users或者Service Accounts

Subjects中Users使用字符串表示, 可以是一个普通的名字字符串, 如alice; 也可以是email格式的邮箱地址; 甚至是一组字符串形式的数字ID. 但是Users的前缀system:是系统保留的, 集群管理员应该确保普通用户不会使用这个前缀格式.

Groups书写格式与Users相同, 都为一个字符串, 并且没有特定的格式要求; 同样system:前缀为系统保留

创建一个用户只能管理dev空间:

{
    "CN": "devuser",
    "hosts": [],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names":[
        {
            "c": "CN",
            "ST": "HangZhou",
            "L": "HangZhou",
            "O": "k8s",
            "OU": "System"
        }
    ]
}

# 下载证书生成工具
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl

wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson

wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

cfssl gencert -ca=ca.crt -ca-key=ca.key -profile=kubernetes /root/devuser-csr.json | cfssljson -bare devuser

# 设置集群参数
export KUBE_APISERVER="https://172.16.11.207:6443"
kubectl config set-cluster kubernetes --certificate-authority=/etc/kubernetes/pki/ca.crt --embed-certs=true --server=${KUBE_APISERVER} --kubeconfig=devuser.kubeconfig

# 设置客户端认证参数
kubectl config set-credentials devuser --client-certificate=/etc/kubernetes/pki/devuser.pem
--client-key=/etc/kubernetes/pki/devuser-key.pem
--embed-certs=true --kubeconfig=devuser.kubeconfig

#设置上下文参数
kubectl config set-context kubernetes
--cluster=kubernetes \ 
--user=devuser --namespace=dev \ 
--kubeconfig=devuser.kubeconfig

# 设置上下文
kubectl config use-context kubernetes --kubeconfig=devuser.kubeconfig

cp -f ./devuser.kubeconfig /root/.kube/config

kubectl create rolebindingdevuser-admin-binding --clusterrole=admin --user=devuser --namespace=dev

准入控制

准入控制是API Server的插件集合, 通过添加不同的插件, 实现额外的准入控制规则.甚至于API Server的一些主要的功能都需要通过Admission Controllers实现, 比如 : ServiceAccount

K8S1.14推荐列表

NamespaceLifecycle    LimitRanger    ServiceAccount     DefaultStorageClass    DefaultTolerationSeconds    MutatingAdmissionWebbook    ValidatingAdmissionWebbook    ResourceQuota

列举一些插件功能:

  • namespaceLifecycle: 防止在不存在的namespace上创建对象, 方式删除系统预置的namespace, 删除namespace时, 连带删除所有的资源对象.

  • LimitRanger: 确保请求的资源不会超过资源所在的Namespace的LimitRange的限制

  • ServiceAccount: 实现了自动化添加ServiceAccount

  • ResourceQuota: 确保请求的

K8S--集群安全

标签:quota   jwt   man   种类型   指定   对象类型   安全性   create   调整   

原文地址:https://blog.51cto.com/15061941/2568924

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!