什么是任务调度 大数据平台技术框架支持的开发语言多种多样，开发人员的背景差异也很大，这就产生出很多不同类型的程序（任务）运行在大数据平台之上，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。 这些任务需要不同的运行环境，并且除了定时运行，各种类型之间的任 ...
分类：
其他好文 时间：
2021-06-23 17:16:53
阅读次数：
0
PreparedStatement针对不同表的通用查询操作 public class PreparedStatementQueryTest { @Test public void testGetForList(){ String sql="select id,name,email from cust ...
分类：
其他好文 时间：
2021-06-23 17:15:36
阅读次数：
0
1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 ...
分类：
其他好文 时间：
2021-06-23 17:02:31
阅读次数：
0
dataadd() 函数在日期中添加或减去指定的时间间隔 2021-04-24 前一天的时间 dataadd('2021-04-24 00:00:00',-1,'dd'); ...
分类：
数据库 时间：
2021-06-23 17:01:00
阅读次数：
0
动态SQL 什么是动态SQL 通过if,choose,when,otherwise,trim,where,set,foreach等标签，可自由组合成非常灵活的SQL语句，从而在提高SQL语句的准确性的同时，大大提高开发效率。 搭建测试环境 CREATE TABLE `blog` ( `id` var ...
分类：
其他好文 时间：
2021-06-23 16:41:27
阅读次数：
0
区别：1. InnoDB支持事务，MyISAM不支持，对于InnoDB每一条SQL语言都默认封装成事务，自动提交，这样会影响速度，所以最好把多条SQL语言放在begin和commit之间，组成一个事务； 2. InnoDB支持外键，而MyISAM不支持。对一个包含外键的InnoDB表转为MYISAM ...
分类：
数据库 时间：
2021-06-23 16:38:54
阅读次数：
0
为什么要分库分表? 将承受并发的能力提升3倍 将大数据了拆成多份 提升sql效率 用过哪些分库分表中间件/不同中间件的优缺点 cobar TDDL 只支持基本的crud操作 atlas 社区不咋维护了 sharding-jdbc(集成client) 运维成本低 缺点是耦合系统版本 mycat(pro ...
分类：
数据库 时间：
2021-06-23 16:37:48
阅读次数：
0
权限管理和备份 用户管理 可视化管理 SQL命令操作 用户表：msql.user 同样就是对表的操作,就是对这张表的增删改查 -- 创建用户 create user kuangshen identfied by '123456' -- 修改当前用户密码 set password = password ...
分类：
数据库 时间：
2021-06-23 16:27:31
阅读次数：
0
https://www.cnblogs.com/shewoqishui/p/14184984.html -- 1.添加字段-- 基本语法alter table 表 add 列名 字段类型 null-- 例：给学生表添加Telephone字段并指定类型为vachar,长度为50，可空alter tab ...
分类：
数据库 时间：
2021-06-22 18:47:32
阅读次数：
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类：
其他好文 时间：
2021-06-22 18:39:47
阅读次数：
0
