处理大数据量数据访问速度缓慢的问题 方案1 水平分库分表，比如根据年份划分， 数据库、 数据库等等 查询的时候根据查询时间，去不同的数据库查询，然后组合结果返回 示例代码 "HistoricalDataManage" 方案2 建立 和`实时数据库`，历史数据库存储所有数据，实时数据库仅保留常用数据 ...
分类：
其他好文 时间：
2020-05-06 21:35:33
阅读次数：
89
NoSQL的四大种类 NoSQL数据库在整个数据库领域的江湖地位已经不言而喻。在大数据时代，虽然RDBMS很优秀，但是面对快速增长的数据规模和日渐复杂的数据模型，RDBMS渐渐力不从心，无法应对很多数据库处理任务，这时NoSQL凭借易扩展、大数据量和高性能以及灵活的数据模型成功的在数据库领域站稳了脚 ...
分类：
数据库 时间：
2020-05-06 12:12:17
阅读次数：
86
面试官：想了解大数据量的运维能力。 解答：索引数据的规划，应在前期做好规划，正所谓“设计先行，编码在后”， 这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户 检索或者其他业务受到影响。 如何调优，正如问题 1 所说，这里细化一下： 3.1 动态索引层面 基于模板+时间+roll ...
分类：
其他好文 时间：
2020-04-29 16:23:21
阅读次数：
164
如何优化Mysql千万级快速分页 MYSQL分页limit速度太慢的优化方法 MYSQL分页查询优化 MySQL大数据量分页查询方法及其优化 select * from table limit m,n 其中m是指记录开始的index，表示每次开始的索引。默认从0开始，表示第一条记录 n是指从第m+1 ...
分类：
数据库 时间：
2020-04-29 15:11:54
阅读次数：
95
1.Hadoop的整体框架 Hadoop是由许多元素构成的，最核心的是HDFS（分布式文件系统），它存储了Hadoop集群中所有DataNode文件，HDFS的上一层是MapReduce引擎，MapReduce是一种计算模型，用以进行大数据量的计算。 HDFS HDFS是Hadoop项目的核心子项目 ...
分类：
其他好文 时间：
2020-04-27 13:27:50
阅读次数：
70
1. 概述 1.1 hive的特征： 可以通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载（ETL），报告和数据分析； 它可以使已经存储的数据结构化； 可以直接访问存储在Apache HDFS或其他数据存储系统（如Apache HBase）中的文件； Hive除了支持MapRe ...
分类：
其他好文 时间：
2020-04-19 19:49:32
阅读次数：
86
一、什么是FastDFS？FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：文件大小为4KB-500MB）为载体的在线服务，如相册网站、视频网站等等。在UC基于FastDFS开发向用户提供了：网盘，社区，广告和应用下载等业务的存储服务。FastDFS是一款开源的轻量级分布式文件系统纯C实现，支持Linux、FreeBSD等UNIX系
分类：
其他好文 时间：
2020-04-15 15:16:43
阅读次数：
65
今日格言：了解了为什么，问题就解决了一半。 Mysql 单表适合的最大数据量是多少？ 我们说 Mysql 单表适合存储的最大数据量，自然不是说能够存储的最大数据量，如果是说能够存储的最大量，那么，如果你使用自增 ID，最大就可以存储 2^32 或 2^64 条记录了，这是按自增 ID 的数据类型 i ...
分类：
数据库 时间：
2020-04-15 14:05:14
阅读次数：
106
1.特点： 1.方便扩展（数据之间没有关系，好扩展） 2.大数据量高性能（Redis一秒能写8w次，读取11w，NoSQL的缓存是记录级的，是一种细粒度的缓存，性能比较高） 3.数据类型是多样的（不需要事先设计数据库，随取随用） 4.传统RDBMS和NoSQL 传动RDBMS： 结构化组织 SQL ...
分类：
数据库 时间：
2020-04-10 17:13:23
阅读次数：
64
hive、Hbase、mysql的区别 1、Hive和HBase的区别 1）hive是sql语言，通过数据库的方式来操作hdfs文件系统，为了简化编程，底层计算方式为mapreduce。 2）hive是面向行存储的数据库。 3）Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce， ...
分类：
数据库 时间：
2020-04-06 20:39:58
阅读次数：
71
