一、基础配置 依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> 客户端配置 ...
分类：
编程语言 时间：
2020-06-27 11:22:15
阅读次数：
82
三、课堂目标 1. 掌握hbase的数据存储原理 2. 掌握hbase的读流程和写流程 3. 掌握hbase表的region拆分和合并 4. 掌握hbase表的预分区 四、知识要点 1. hbase的数据存储原理 HRegionServer=》多个Region Region=》多个store，一个列 ...
分类：
其他好文 时间：
2020-06-27 00:24:37
阅读次数：
65
kafka Topic主题与Patitions分区架构图： 硬件架构图： end. ...
分类：
其他好文 时间：
2020-06-27 00:24:19
阅读次数：
60
实现思路：要知道今天有哪些用户是新增用户，需要知道两件事，一是今天所有的活跃用户，因此，新增用户的数据来源，还是DWS层的设备日活表，新增用户，就是部分日活的用户。二是要知道哪些用户在以前活跃过，用今日活跃用户减去以前活跃过的用户，剩下的就是新增用户。 DWS层（每日新增设备明细表） 建表语句。 分 ...
分类：
其他好文 时间：
2020-06-26 21:53:41
阅读次数：
78
NoSql 数据存储-Redis CAP CAP原则又称CAP定理，指的是在一个分布式系统中，一致性（Consistency）、高可用性（Availability）、分区容错性（Partition tolerance）。CAP 原则指的是，这三个要素最多只能同时实现两点，不可能三者兼顾。 比如在我们 ...
分类：
其他好文 时间：
2020-06-26 20:37:45
阅读次数：
53
Redis为什么需要集群？ 首先Redis单实例主要有单点，容量有限，流量压力上限的问题。 Redis单点故障，可以通过主从复制replication，和自动故障转移sentinel哨兵机制。 但Redis单Master实例提供读写服务，仍然有容量和压力问题，因此需要数据分区，构建多个Master实 ...
分类：
其他好文 时间：
2020-06-26 18:08:20
阅读次数：
59
多核片上系统（SoC）架构的嵌入式DSP软件设计 Multicore a System-on-a-Chip (SoC) Architecture SoCs的软件开发涉及到基于最强大的计算模型在各种处理单元之间划分应用程序。这可能需要大量的试用anderror来建立正确的分区。在高层次上，SoCpar ...
分类：
其他好文 时间：
2020-06-26 16:18:10
阅读次数：
56
金融企业网络总体架构 总体分为服务域、通道域和用户域。单向箭头表示依赖关系，单向箭头表示组成关系。 DC1.0（模块化） 逻辑区域物理紧耦合，集群不能跨分区部署，造成计算存储碎片化，加剧了计算存储资源的整体富余局部紧张的结构性矛盾； 竖井式建设，分区固定，模块重用性弱，经常需要跨机房跳线； 网络上依 ...
分类：
其他好文 时间：
2020-06-26 12:39:13
阅读次数：
46
磁盘查看与更改 如何查看linux文件系统类型？ df 命令报告文件系统磁盘空间利用率，使用-T选项显示特定的磁盘分区的文件系统类型，-h人类可读方式显示。** ** [root@Qiuyuetao ~]# df -Th Filesystem Type Size Used Avail Use% Mo ...
分类：
其他好文 时间：
2020-06-25 23:50:07
阅读次数：
146
一、RDD简介 RDD 全称为 Resilient Distributed Datasets，是 Spark 最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他 RDD 转换而来，它具有以下特性： 一个 RDD 由一个或者多个分区（Partitions）组成。对于 R ...
分类：
其他好文 时间：
2020-06-25 21:27:05
阅读次数：
66
