问题概述 使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。 问题前提：老系统，当时设计系统的人大概是大学没毕业，表设计和sql语句写的不仅仅是垃圾，简直无法 ...
分类：
数据库 时间：
2019-08-23 19:36:53
阅读次数：
159
当我们向后台请求大量数据的时候，并要在页面展示出来，请求的数据可能上百条数据或者更多的时候，并不想在一个页面展示，这就需要使用分页功能来去完成了。 1.本次所使用的是vue2.0+element-ui实现一个分页功能，element-ui这个组件特别丰富，分页中给我提供了一个Pagination 分 ...
分类：
其他好文 时间：
2019-08-22 18:58:44
阅读次数：
84
数据库和SQL 数据库的基本概念 数据库(DB) :将大量数据保存起来，通过计算机加工而成的可以进行高效访问的数据集合 数据库管理系统(DBMS) :用来管理数据库的计算机系统 DBMS的重要性 :(文本文件和电子表格无法做到) 无法多人共享数据 无法提供操作大量数据所需的格式 实现读写自动化需要编 ...
分类：
数据库 时间：
2019-08-22 00:43:31
阅读次数：
116
随着企业数据的日久累计，企业生产的数据无论从数量空间还是从维度层次上都日益繁杂。面对大量数据，管理层常常望洋兴叹：要么企业自产的大量数据不能有效利用，无法提供决策依据；要么数据展示模式繁杂晦涩，无法快速甄别有效信息。如何将海量数据经过抽取、加工、提炼，通过可视化方式展示出来，改变传统的文字描述识别模式，让决策者更高效的掌握重要信息和了解重要细节，这关系到企业重大决策的制定和发展方向的研判。数据可视
分类：
其他好文 时间：
2019-08-21 13:36:41
阅读次数：
103
一、架构 Ceph在一个统一的系统中独特地提供对象，块和文件存储。 Ceph高度可靠，易于管理且免费。 Ceph的强大功能可以改变您公司的IT基础架构以及管理大量数据的能力。 Ceph提供了非凡的可扩展性 - 成千上万的客户端访问数PB到数十亿的数据。 Ceph节点利用商用硬件和智能守护进程，Cep ...
分类：
其他好文 时间：
2019-08-20 18:51:18
阅读次数：
78
数据分析是指采用恰当的统计分析方法对收集来的大量数据进行分析，提取出有用信息同时形成结论，即对数据加以详细研究和概括总结的过程。数据分析需要掌握数学知识和分析工具，数学知识包含统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘；工具一般应该掌握Excel、SQL、R、Python等。需要学习掌握基本数据处理及分析方法，掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树
分类：
其他好文 时间：
2019-08-18 09:29:25
阅读次数：
99
一个典型的星型模式包括一个大型的事实表和一组逻辑上围绕这个事实表的维度表。 事实表是星型模型的核心，事实表由主键和度量数据两部分组成。星型模型中各维度表主键的组合构成事实表的主键。事实表中存放的大量数据，是同主题密切相关的、用户最关心的度量数据。星级酒店最需要关注的是客户消费情况。为分析的需求，基 ...
分类：
其他好文 时间：
2019-08-17 19:58:53
阅读次数：
93
Bigdata： 结构化数据：有严格约束 半结构化数据： 非结构化数据：没有元数据 搜索引擎：搜索组件+索引组件（存放数据 由蜘蛛程序爬取而来） 2003年 Google发表第一篇论文 The Google File System 解决大量数据存储 GFS文件系统 系统阐述了采取商业计算机集群就是普 ...
分类：
其他好文 时间：
2019-08-17 19:49:38
阅读次数：
99
作者：58沈剑 问题抽象： 问题抽象： （1）用户会员系统； （1）用户会员系统； （2）用户会有分数流水，每个月要做一次分数统计，对不同分数等级的会员做不同业务处理； （2）用户会有分数流水，每个月要做一次分数统计，对不同分数等级的会员做不同业务处理； 数据假设： 数据假设： （1）假设用户在10 ...
分类：
其他好文 时间：
2019-08-16 20:51:23
阅读次数：
99
