数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
对于消息组件，如果按照最初的设计来讲，性能最高得就是RabbitMQ，因为RabbitMQ设计比较完整，而Kafka不同，Kafka最初的设计最大的坑：没有安全认证，所以最初的一些系统设计的时候为了考虑到安全性，所以采用了性能较差的ssl认证方式来进行出来，也就是说使用证书的方式来处理认证操作。 如 ...
分类：
其他好文 时间：
2020-06-21 23:22:34
阅读次数：
81
mybatis分页 1. 物理分页 查询 从offset条起，后面的共rows条记录（offset从0开始） SELECT * FROM table1 LIMIT offset,rows 2. 逻辑分页 RowBounds分页：一次性查出很多记录，然后再这些数据中进行分页查询 RowBounds查询 ...
分类：
其他好文 时间：
2020-06-21 23:08:33
阅读次数：
61
$ cat -n config/server.properties broker.id=0 // broker ID, 集群模式下该ID必须唯一，且永恒不变 listeners=PLAINTEXT://your_host_name:9092 // 配置你的应用所在IP地址，我理解为访问白名单配置 z ...
分类：
其他好文 时间：
2020-06-21 19:35:58
阅读次数：
133
kafka基本命令查看博客《kafka2.5.0基本命令》 本博文所使用kafka版本2.5.0，操作系统centos8. 1）创建主题 创建my-topic主题，该主题有 1 个副本，8个分区： $ bin/kafka-topics.sh --create --bootstrap-server l ...
分类：
其他好文 时间：
2020-06-21 17:51:35
阅读次数：
59
1）启动zookeeper 演示用的话，直接启动kafka自带的zookeeper即可： cd kafkaDirectory/kafka_2.12-2.5.0 bin/zookeeper-server-start.sh config/zookeeper.properties 生产上建议连接到zook ...
分类：
其他好文 时间：
2020-06-21 15:31:46
阅读次数：
127
kafka 非常难，难在 broker 有角色之分，controller 起控制作用，难在副本有角色之分，leader 提供读写服务，所以 broker 会有状态的切换，副本也有状态的切换。 从一个具体的场景切入，4 节点集群(b1, b2, b3, b4)，存在 1 个分区 tp0 分布在 (b1 ...
分类：
其他好文 时间：
2020-06-21 00:49:58
阅读次数：
77
翻译自NCL Documentation: Description of Gaussian, fixed, fixed offset, regular, curvilinear grids 高斯网格 Gaussian Grids 高斯网格是一种可以通过一维纬度和经度数组（即，坐标是正交的）唯一访问每 ...
分类：
其他好文 时间：
2020-06-21 00:28:35
阅读次数：
62
消息中间件你知道多少？通过调研了解总结如下一、市场上的消息中间件产品有哪些。RabbitMQ Elang语言 高效 吞吐量RockMQ 阿里产品ActiveMQ 传统 实现JMS规范 Kafka 大数据 日志采集 二、消息中间件的优点。削峰 用于高并发场景，进行削峰异步 提供用户操作响应时间，优化用 ...
分类：
其他好文 时间：
2020-06-20 22:37:52
阅读次数：
84
Dubbo 框架在初始化和通信过程中使用了多种设计模式，可灵活控制类加载、权 限控制等功能。 工厂模式 Provider 在 export 服务时，会调用 ServiceConfig 的 export 方法。ServiceConfig 中有个字段： private static final Prot ...
分类：
其他好文 时间：
2020-06-20 18:42:42
阅读次数：
110
