Hive分区表和分桶表 一、分区表 1.1 概念 Hive 中的表对应为 HDFS 上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 分区为 HDFS 上表目录的子目录，数据按照分区存储在子目录中。如果查询的 where 字句的中包含分区条件，则直接从该分区去查找， ...
分类：
其他好文 时间：
2020-06-21 16:22:24
阅读次数：
55
Hive常用DDL操作 一、Database 1.1 查看数据列表 show databases; 1.2 使用数据库 USE database_name; 1.3 新建数据库 语法： CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name -- ...
分类：
其他好文 时间：
2020-06-21 16:17:19
阅读次数：
47
1，hive架构 1）client，客户端 2）Driver：驱动器 3）解析器，编译器，优化器，执行器 4）底层默认使用mr作为数据处理引擎 5）元数据，通常配置mysql来存储，这样支持多个客户端的访问 2，hive和传统数据库的比较 相同之处：都拥有类似的查询语言 不同之处： 1）数据存储位置 ...
分类：
其他好文 时间：
2020-06-21 13:51:48
阅读次数：
57
The set [1,2,3,...,n] contains a total of n! unique permutations. By listing and labeling all of the permutations in order, we get the following seque ...
分类：
其他好文 时间：
2020-06-21 10:13:55
阅读次数：
48
#CentorOSuseradd victor passwd victor //adminadmin #MYSQLroot: Admin090615@CREATE DATABASE wordpress;GRANT ALL ON wordpress.* TO wordpressuser@localho ...
分类：
其他好文 时间：
2020-06-21 09:42:13
阅读次数：
43
? 如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？对于大部分人来说都是傻傻分不清楚。 今年来大数据、人工智能获得了IT界大量的关注。如果一个企业不玩大数据，都不好意思说自己是在IT圈混的。我敢打赌，你在中关村西二旗地铁站溜一圈，保准你会听到如下名词：Had ...
分类：
其他好文 时间：
2020-06-20 23:54:38
阅读次数：
100
脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。 注意修改成自己的集群节点名称及kafka版本 #!/bin/bash # 定义机器名前缀 HN_PREFIX ...
分类：
系统相关 时间：
2020-06-20 16:44:49
阅读次数：
68
# abs(-3) #取绝对值 # all('1,a,3,0') #对传入的值做布尔运算，全为真则为真。 # any([2,None,]) #对传入的值做布尔运算，有真则为真 # bin(15) #转二进制输出 # oct(15) #转八进制输出 # hex(15) #转十六进制输出 # bool( ...
分类：
编程语言 时间：
2020-06-20 14:19:21
阅读次数：
86
1、因为电脑不是最新版本，先更新：pip install --upgrade pandas 2、感兴趣，或者今后可能会常用的： （b）查看缺失值的所以在行 df[df['Physics'].isna()] （c）挑选出所有非缺失值列 使用all就是全部非缺失值，如果是any就是至少有一个不是缺失值 ...
分类：
其他好文 时间：
2020-06-20 13:54:12
阅读次数：
49
Given a string S, consider all duplicated substrings: (contiguous) substrings of S that occur 2 or more times. (The occurrences may overlap.) Return a ...
分类：
其他好文 时间：
2020-06-20 13:20:54
阅读次数：
43
