# 先定义dataframe各列的数据类型 from pyspark.sql.types import *schema = StructType([ StructField("a", NullType(), True), StructField("b", AtomicType(), True), S ...
分类：
其他好文 时间：
2021-01-18 11:29:36
阅读次数：
0
一、EXPLAIN 做MySQL优化，我们要善用 EXPLAIN 查看SQL执行计划。 下面来个简单的示例，标注(1,2,3,4,5)我们要重点关注的数据 type列，连接类型。一个好的sql语句至少要达到range级别。杜绝出现all级别 key列，使用到的索引名。如果没有选择索引，值是NULL。 ...
分类：
数据库 时间：
2021-01-18 11:25:16
阅读次数：
0
词频统计： 要求：统计Harry Potter.txt文件中出现最多单词前十位 内容样例： 代码及结果： @Test//词频统计 def WordCount(): Unit ={ val conf=new SparkConf().setMaster("local[6]").setAppName("w ...
分类：
其他好文 时间：
2021-01-18 11:17:13
阅读次数：
0
本质： GDB 默认采用的是 all-stop 模式，即只要有一个线程暂停执行，所有线程都随即暂停； non-stop 模式，该模式下调试多线程程序，当某一线程暂停运行时，其它线程仍可以继续执行。 PS : ①只有 7.0 版本以上的 GDB 调试器，才支持 non-stop 模式。 ②在all-s ...
分类：
其他好文 时间：
2021-01-18 11:01:06
阅读次数：
0
1.数据格式 1 2 x2 2 x3 2 x4 2 x 2.创建表 创建TEXTFILE格式的表 CREATE TABLE test_txt(id int,num int,txt string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES ...
分类：
其他好文 时间：
2021-01-18 10:51:25
阅读次数：
0
public class test11 { public static void main(String[] args) { int [][]grid={{1,0,0,0},{1,1,0,0}}; int [][]hits={{1,1},{1,0}}; int []result=hitBricks( ...
分类：
其他好文 时间：
2021-01-18 10:36:45
阅读次数：
0
/** * 为集合增加内容。 使用addALL()方法可以为一个集合增加内容，此方法可以接收可变参数，所以可以传递任意多的参数作为集合的内容 */ private static void test02() { List<String> all = new ArrayList<String>(); C ...
分类：
其他好文 时间：
2021-01-18 10:32:29
阅读次数：
0
1. 设置执行引擎 set hive.execution.engine=mr;set hive.execution.engine=spark; 如果设置执行引擎为MR，那么调用Hadoop的maprecude来运行需要执行的job的程序； 如果设置执行引擎为spark，那么就会调用spark来执行任 ...
分类：
其他好文 时间：
2021-01-15 12:15:21
阅读次数：
0
1. su - db2inst1 2.db2 list db directory 3.db2 list node directory 4.db2 list tables for all/user 5.db2 set client connect (number) ...
分类：
数据库 时间：
2021-01-14 11:08:54
阅读次数：
0
SQL注入常见函数 首先SQL语句对大小写不敏感，这也导致了后台程序对大小写的检测失效。 SQL 注释语句 ("--"与"/*...*/") （1）--：表示单行注释 （2）/*…*/：用于多行（块）注释 SELECT 查询语句 SQL SELECT 语法 SELECT 列名称 FROM 表名称 S ...
分类：
数据库 时间：
2021-01-14 10:52:24
阅读次数：
0
