Spark SQL是Spark最新和技术最为复杂的组件之一。它支持SQL查询和新的DataFrame API。Spark SQL的核心是Catalyst优化器，它以一种新颖的方式利用高级编程语言特性（例如Scala的模式匹配和quasiquotes）来构建可扩展查询优化器。 我们最近发布了一篇关于S ...
分类：
数据库 时间：
2018-02-20 21:00:57
阅读次数：
239
Apache Spark 2.2最近引入了高级的基于成本的优化器框架用于收集并均衡不同的列数据的统计工作 (例如., 基（cardinality）、唯一值的数量、空值、最大最小值、平均/最大长度，等等）来改进查询类作业的执行计划。均衡这些作业帮助Spark在选取最优查询计划时做出更好决定。这些优化的 ...
分类：
Web程序 时间：
2018-02-19 11:35:08
阅读次数：
214
iOS面试题 1.写一个NSString类的实现 + (id)initWithCString:(c*****t char *)nullTerminatedCString encoding:(NSStringEncoding)encoding; + (id) stringWithCString: (c ...
分类：
移动开发 时间：
2018-02-14 12:25:07
阅读次数：
261
1. 理解什么是统计信息优化器统计信息就是一个更加详细描述数据库和数据库对象的集合，这些统计信息被用于查询优化器，让其为每条SQL语句选择最佳的执行计划。优化器统计信息包括: · 表的统计信息o 行数o Block数 o 行平均长度· 列的统计信息o 列中不同值的数量o 列中null的数量 o 数据 ...
分类：
数据库 时间：
2018-02-13 12:26:03
阅读次数：
193
『PyTorch』第四弹_通过LeNet初识pytorch神经网络_上 这是使用LeNet分类cifar_10的例子，数据处理部分由于不是重点，没有列上来，主要是对使用torch分类有一个直观理解， 初始化网络 初始化Loss函数 & 优化器 进入step循环： 梯度清零 向前传播 计算本次Loss ...
分类：
Web程序 时间：
2018-02-11 19:49:14
阅读次数：
228
掌握好其原理有助于我们从整体上来把握这个东西，并且帮助我们在排错过程中理清思路。接下来，还是从mysql的工作原理开始入手，下面先来一张经典的图：上面的图就是mysql的内部架构，可以清楚的看到Mysql是由SQL接口，解析器，优化器，缓存，存储引擎组成的。下面是关于上述部件的介绍：connectors与其他编程语言中的sql语句进行交互，如php、java等。ManagementServeice
分类：
数据库 时间：
2018-02-05 00:28:41
阅读次数：
231
接触一个新的事物的时候，是有必要从其工作原理入手，弄清楚这个东西的来龙去脉，为接下来的继续深入学习做好铺垫，掌握好其原理有助于我们从整体上来把握这个东西，并且帮助我们在排错过程中理清思路。接下来，还是从mysql的工作原理开始入手，下面先来一张经典的图：上面的图就是mysql的内部架构，可以清楚的看到Mysql是由SQL接口，解析器，优化器，缓存，存储引擎组成的。下面是关于上述部件的介绍：conn
分类：
数据库 时间：
2018-02-03 12:44:44
阅读次数：
255
1 Mysql工作原理1.1 mysql体系结构：连接池sql接口分析器优化器查询缓存存储引擎文件系统管理工具1.2 永久定义：修改配置文件/etc/my.cnf[mysql]变量名=值1.3 临时定义：mysql>set (global) 变量=2 性能调优2.1 访问数据时，出结果特别慢。分析可能是由哪些原因导致的？(1)硬件配置低：查看应用设备的使用率CPU 内存 &nbs
分类：
数据库 时间：
2018-01-27 00:38:58
阅读次数：
221
1. 选用适合的ORACLE优化器 ORACLE的优化器共有3种: a. RULE (基于规则) b. COST (基于成本) c. CHOOSE (选择性) 设置缺省的优化器,可以通过对init.ora文件中OPTIMIZER_MODE参数的各种声明,如RULE,COST,CHOOSE,ALL_R ...
分类：
数据库 时间：
2018-01-26 17:10:37
阅读次数：
262
此博文是阅读《MySQL技术内幕 InnoDB存储引擎（第二版）》笔记总结，包括InnoDB存储引擎概述、表以及索引结构！
分类：
数据库 时间：
2018-01-26 14:49:43
阅读次数：
225
