MongoDB概述 MongoDB是一款NoSQL类型的文档型数据库。 NoSQL NoSQL是一种非关系型DMS，不需要固定的架构，可以避免joins链接，并且易于扩展。NoSQL数据库用于具有庞大数据存储需求的分布式数据存储。NoSQL用于大数据和实时Web应用程序。 MongoDB特点 面向文 ...
分类：
数据库 时间：
2021-06-20 18:39:42
阅读次数：
0
前面我们学习了聚合查询，本篇我们来看看在模型设计中如何应用引用模式来提高查询效率。本文简单介绍了MongoDB的模型设计中的内嵌模式和引用模式，探讨了引用模式的使用、何时使用 及 使用限制。 ...
分类：
数据库 时间：
2021-06-20 18:24:03
阅读次数：
0
1. MongoDB相关概念 1.1 业务应用场景 传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。 解释：“三高”需求： High performance - 对数据库高并发读写的需求。 Huge Storage - 对海量数据的高效率 ...
分类：
数据库 时间：
2021-06-20 17:35:12
阅读次数：
0
上一篇文章我们简单的介绍《 linux中sqoop实现hive数据导入到mysql》，本文将简单介绍如何通过sqoop把hive数据导入到mysql。一. 前期准备 实践本文内容，默认您已经安装和部署了hadoop,mysql,hive,sqoop等环境。如相关安装和部署有问题，可以参考《 linu ...
分类：
数据库 时间：
2021-06-19 19:26:08
阅读次数：
0
Hive列转行： select school,concat_ws('|',collect_set(name)) as name from tmp_01 group by school; 注意：collect_set 有重复的会去重， collect_list 有重复的不去重 hive行转列： sel ...
分类：
其他好文 时间：
2021-06-19 19:05:46
阅读次数：
0
原文链接： https://data-flair.training/blogs/data-locality-in-hadoop-mapreduce/ 1、什么是数据本地化 数据本地化（Data locality）是指将计算移动到数据所在的节点，而不是移动数据移动到计算所在的节点。在Hadoop中，一 ...
分类：
其他好文 时间：
2021-06-18 19:09:26
阅读次数：
0
InputSplit是block和mapper之间的代理，也即是为mapper提供了一个数据视图。 我们以HDFS的block的大小为128MB举例，当一行日志为130MB（包括行分隔符），这一行数据会被分在两个block中，如果mapper直接读block的话，会读到一个被截断的行日志。这是为什么 ...
分类：
其他好文 时间：
2021-06-18 18:49:59
阅读次数：
0
复制集的作用 MongoDB 复制集的主要意义在于实现服务高可用。 它的现实依赖于两个方面的功能： 数据写入时将数据迅速复制到另一个独立节点上 在接受写入的节点发生故障时自动选举出一个新的代替节点 在实现高可用的同时，复制集实现了其他几个附加作用： 数据分发：将数据从一个区域复制到另一个区域，减少另 ...
分类：
数据库 时间：
2021-06-16 17:51:47
阅读次数：
0
Mongodb的ReplicaSet实验 标签（空格分隔）： MongoDB 本文验证了：要保证mongodb RS集群在宕机情况下的可用性，至少需要三台机器。 目的 本实验的ReplicaSet集群为 1*Primary， 1*Secondary, n*Arbiter。 目的是为了验证： 三机环境 ...
分类：
数据库 时间：
2021-06-13 10:01:36
阅读次数：
0
一、JVM 二、Java集合 三、Java多线程并发 四、Java基础 五、Spring原理 六、微服务 七、Netty与RPC 八、网络 九、日志 十、RabbitMQ 十一、MongoDB 十二、设计模式 十三、负载均衡 十四、数据 十五、Java算法 十六、数据结构 十七、Hadoop 十八、 ...
分类：
编程语言 时间：
2021-06-13 10:00:32
阅读次数：
0
