在sql性能调优时索引是提升sql性能的利器，但是在某些情况下索引会失效。笔者整理了四种情况会引起索引失效：1、查询条件使用函数在索引列上，或者对索引列进行运算，运算包括(+，-，，/，!等)错误的例子：selectfromtestwhereid-1=9;正确的例子：select*fromtestwhereid=10；2、隐式转换导致索引失效.（这一点应当引起重视.也是开发中经常会犯的错误）.由于
分类：
数据库 时间：
2020-08-10 15:40:14
阅读次数：
70
1.定义 RDD是只读的记录分区的集合，是一种基于工作集的应用抽象 创建RDD的方式有两种： 从驱动程序中的集合中并行创建 从外部数据集创建 2.底层存储原理 每个RDD的数据以Block的形式存储在多个机器上，对于每个Executor都会启动一个BlockManagerSlave，并且管理一部分B ...
分类：
其他好文 时间：
2020-08-08 00:33:32
阅读次数：
73
一. SparkSQL简介 Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 Dremel > Drill(Apache) >Impala(Cloudrea) Presto(Hotonworks) Hive > Shark(对Hive的模仿，区别在 ...
分类：
数据库 时间：
2020-08-07 21:45:52
阅读次数：
79
1、JedisConnectionPool.scala package sparkstreaming import redis.clients.jedis.{Jedis, JedisPool, JedisPoolConfig} object JedisConnectionPool{ val conf ...
分类：
其他好文 时间：
2020-08-07 18:03:42
阅读次数：
62
变量中加入字符串进行拼接，可以被同化为字符串。 var a = "1"; var b = 2; console.log(a + b); 输出12 们知道，"2"+1得到的结果其实是字符串，但是"2"-1得到的结果却是数值1，这是因为计算机自动帮我们进行了“隐式转换”。 也就是说，-、*、/、%这几个 ...
分类：
其他好文 时间：
2020-08-06 17:05:25
阅读次数：
85
针对hive on mapreduce 1：我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并： 参数详细内容可参考官网：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties 1 2 3 4 ...
分类：
数据库 时间：
2020-08-03 19:56:21
阅读次数：
103
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.3.3</version> </dependency> <!-- https://mvnrepos ...
分类：
其他好文 时间：
2020-07-29 09:53:42
阅读次数：
61
1 hadoop集群安装 https://blog.csdn.net/shshheyi/article/details/84893371 1.1 修改主机名 [root@localhost ~]# vim /etc/hosts # 三台机器都需要操作 192.168.28.131 master 19 ...
分类：
其他好文 时间：
2020-07-29 00:41:18
阅读次数：
111
Spark的架构图 1、RDD(弹性分布式数据集) RDD是对象的分布式集合。 RDD以并行方式应用和记录数据转换 RDD也提供数据沿袭——以图形形式给出每个中间步骤的祖先树，当RDD的一个分区丢失，可以根据祖先树重建该分区。 RDD有两组操作，转换(transformation)和行动(actio ...
分类：
其他好文 时间：
2020-07-28 22:37:30
阅读次数：
72
