简单来说，我们可以把大数据分析工具简单分成两个维度：第一维度：数据存储层——数据报表层——数据分析层——数据展现层第二维度：用户级——部门级——企业级——BI级1、数据存储层数据存储涉及到数据库的概念和数据库语言,这方面不一定要深钻研,但至少要理解数据的存储方式、数据的基本结构和数据类型。SQL查询语言必不可少,精通最好。可从常用的select查询，update修改，delete删除，insert
分类：
其他好文 时间：
2019-07-01 14:17:42
阅读次数：
124
如何设计最优的数据库表结构，如何建立最好的索引，以及如何扩展数据库的查询，这些对于高性能来说都是必不可少的。但是只有这些还不够，要获得良好的数据库性能，我们还要设计合理的数据库查询，如果查询设计的很糟糕，即使增加再多的只读从库，表结构设计的再合理，索引再合适，只要查询不能使用到这些东西，也无法实现高 ...
分类：
数据库 时间：
2019-06-29 10:49:50
阅读次数：
124
一、背景最近公司项目添加新功能，上线后发现有些功能的列表查询时间很久。原因是新功能用到旧功能的接口，而这些旧接口的SQL查询语句关联5,6张表且编写不够规范，导致MySQL在执行SQL语句时索引失效，进行全表扫描。原本负责优化的同事有事请假回家，因此优化查询数据的问题落在笔者手中。笔者在查阅网上SQL优化的资料后成功解决了问题，在此从全局角度记录和总结MySQL查询优化相关技巧。二、优化思路数据查
分类：
数据库 时间：
2019-06-27 12:18:56
阅读次数：
142
思考：sql为什么那么强大，sql解决了什么问题？hive和spark都支持sql,ES 和flink也支持sql了解下spark为什么能够支持sql;flink为什么能够支持sql?SQL:Structured Query Language所以从字面可以看出来，只有结构化的数据才能sql查询，这个 ...
分类：
数据库 时间：
2019-06-26 16:26:31
阅读次数：
151
1.spark SQL简介 官网：http://spark.apache.org/ Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程对象，叫DataFrame，并且作为分布式SQL查询引擎的作用 2.为什么要学习spark SQL 2.1 我们已经学习了Hive，它是将H ...
分类：
数据库 时间：
2019-06-26 13:21:25
阅读次数：
133
1.1.1. 什么是执行计划 使用EXPLAIN关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是 如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈 1.1.2. 执行计划的作用 l 表的读取顺序 l 数据读取操作的操作类型 l 哪些索引可以使用 l 哪些索引被实际使用 l ...
分类：
其他好文 时间：
2019-06-26 13:18:41
阅读次数：
99
新建一个查询语句,按执行按钮 在结果页面会显示一条sql语句,复制语句就可以建表了 ...
分类：
数据库 时间：
2019-06-25 19:43:43
阅读次数：
178
引擎myisaminnodbblackholememoryORM优点:让一个不懂数据库操作的小白也能够简单快速操作数据库实现相应功能缺点:sql 固定封转,不利于sql查询对象关系映射类 >>> 数据库的表对象 >>> 表里一条条的记录对象获取属性或方法 >>> 记录的字段对... ...
分类：
其他好文 时间：
2019-06-24 21:17:33
阅读次数：
115
1.新建一个查询语句,按执行按钮 2.结果页面会显示一条sql语句,复制该语句即可建表 3.建表测试 ...
分类：
数据库 时间：
2019-06-24 17:04:41
阅读次数：
123
一 Spark SQL概述 1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 Hive是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapRe ...
分类：
数据库 时间：
2019-06-22 19:45:45
阅读次数：
144
