基本概念 在了解Sharding-JDBC的执行原理前，需要了解以下概念： 逻辑表 水平拆分的数据表的总称。例：订单数据表根据主键尾数拆分为10张表，分别是 t_order_0 、 t_order_1 到 t_order_9 ，他们的逻辑表名为 t_order 。 真实表 在分片的数据库中真实存在的 ...
分类：
数据库 时间：
2020-06-21 00:55:20
阅读次数：
140
kafka 非常难，难在 broker 有角色之分，controller 起控制作用，难在副本有角色之分，leader 提供读写服务，所以 broker 会有状态的切换，副本也有状态的切换。 从一个具体的场景切入，4 节点集群(b1, b2, b3, b4)，存在 1 个分区 tp0 分布在 (b1 ...
分类：
其他好文 时间：
2020-06-21 00:49:58
阅读次数：
77
1.物理层的基本概念 物理层：解决如何在传输媒体传输数据比特流，而不是指具体传输媒体 物理层确定与传输媒体的接口的一些特性：机械特性、电气特性、功能特性等 2.数据通信的基础知识 2.1典型的数据通信模型 PC机（输入汉字)——>变为数字比特流——>调制解调器——>变为模拟信号——>公用电话网——> ...
分类：
其他好文 时间：
2020-06-21 00:42:37
阅读次数：
110
Figure/绘图 Figure表示整个绘图，可以理解为一个画布，绘图中可以包含多个子图形（subplot）。 如果不显式创建figure，会使用默认的figure。 示例 显式创建figure # 创建一个大小为8x6英寸的图形，每英寸80个点 plt.figure(figsize=(8, 6), ...
分类：
编程语言 时间：
2020-06-21 00:27:00
阅读次数：
66
消息中间件你知道多少？通过调研了解总结如下一、市场上的消息中间件产品有哪些。RabbitMQ Elang语言 高效 吞吐量RockMQ 阿里产品ActiveMQ 传统 实现JMS规范 Kafka 大数据 日志采集 二、消息中间件的优点。削峰 用于高并发场景，进行削峰异步 提供用户操作响应时间，优化用 ...
分类：
其他好文 时间：
2020-06-20 22:37:52
阅读次数：
84
OS进程/线程切换 1.基本概念 1.1 进程 进程：运行中的程序，同一个程序可以运行出多个进程，其不同之处表现在PCB中 PCB：用来记录进程信息的数据结构，类似于当前CPU的快照加上一些进程本身的数据 CPU切换进程from->to：需要将当前运行着的进程from的PCB保存下来，然后将to的P ...
分类：
编程语言 时间：
2020-06-20 22:36:35
阅读次数：
74
Master 基本概念： kubernetes里的master指的是集群控制节点，是一个集群的“首脑”。 每个kubernetes集群中都需要一个master来负责整个集群管理和控制。 基本上kubernetes的所有控制命令都发给master，master负责具体的执行过程。 组建集群需要注意： ...
分类：
Web程序 时间：
2020-06-20 22:20:12
阅读次数：
85
脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。 注意修改成自己的集群节点名称及kafka版本 #!/bin/bash # 定义机器名前缀 HN_PREFIX ...
分类：
系统相关 时间：
2020-06-20 16:44:49
阅读次数：
68
1.镜像 操作系统 = 内核 + 用户空间 对于linux而言，内核启动后，会挂载root文件系统为其提供用户空间支持，而docker镜像，就相当于root文件系统。 docker镜像是一个特殊的文件系统，除了提供容器运行时所需的程序，库，资源，配置等文件外，还包含了一些为运行时准备的一些配置参数( ...
分类：
其他好文 时间：
2020-06-20 15:44:08
阅读次数：
50
概念剖析 kafka的两种位移 关于位移（Offset），其实在kafka的世界里有两种位移： 分区位移：生产者向分区写入消息，每条消息在分区中的位置信息由一个叫offset的数据来表征。假设一个生产者向一个空分区写入了 10 条消息，那么这 10 条消息的位移依次是 0、1、…、9； 消费位移：消 ...
分类：
其他好文 时间：
2020-06-20 13:33:55
阅读次数：
60
