Hive列转行： select school,concat_ws('|',collect_set(name)) as name from tmp_01 group by school; 注意：collect_set 有重复的会去重， collect_list 有重复的不去重 hive行转列： sel ...
分类：
其他好文 时间：
2021-06-19 19:05:46
阅读次数：
0
一、Linux目录结构 1、树形目录结构 2、根目录 ■ 所有分区、目录、文件等的位置起点 ■ 整个树形目录结构中，使用独立的一个“/”表示 3、常见的子目录 /root 管理员的宿主（家）目录 /home/xxx 除root用户之外的普通用户的家目录 /bin 存放二进制文件，所有用户可执行的命令 ...
分类：
系统相关 时间：
2021-06-18 19:43:40
阅读次数：
0
挂载IP-SAN ipsan重新分区，详见IPSAN的配置手册； 运行安装iscsi-initiator-utils-6.2.0.872-10.el6.i686.rpm 启动iscsi服务/etc/init.d/iscsi start（如果该项未能启动，直接进入下面操作） 发现网络中的存储节点，其中 ...
分类：
系统相关 时间：
2021-06-18 19:35:16
阅读次数：
0
结构 磁盘基础 检测并确认新硬盘 规划硬盘中的分区 创建文件系统 挂载、卸载文件系统 磁盘结构 硬盘的物理结构 盘片:硬盘有多个盘片,每盘片2面 磁头:每面一个磁头 硬盘的数据结构 扇区:盘片被分为多个扇形区域,每个扇区存放512字节的数据，硬盘的最小存储单位 磁道:同一盘片不同半径的同心圆,是由磁 ...
分类：
系统相关 时间：
2021-06-18 19:32:14
阅读次数：
0
一、数据预处理 1.1、在hdfs上新建目录 java程序启动前先在hdfs上建立相应文件夹，用于上传本地数据和处理后的数据 [root@hadoop102 ~]# hdfs dfs -mkdir -p /USAdatas/geodatas/inputs [root@hadoop102 ~]# hd ...
分类：
数据库 时间：
2021-06-18 19:17:01
阅读次数：
0
C# detect driver ssd/hdd 来自github的代码，略做了一丢丢修改。 using Microsoft.Win32.SafeHandles; using System; using System.Collections.Generic; using System.Compone ...
spark程序初始化HiveContext报错：空指针异常 版本说明： spark: 1.6.1 scala: 2.10.8 hive: 1.2.1 报错信息 java.lang.RuntimeException: java.lang.NullPointerException at org.apac ...
分类：
其他好文 时间：
2021-06-17 16:37:17
阅读次数：
0
#linux目录和文件管理 ##一、linux目录结构 树形目录结构 根目录 所有分区、目录、文件等的位置起点 整个树形目录结构中，使用一个**“/”**表示 常见的子目录 /root、/bin、/boot、/dev、/etc、/home、/var、/usr、/sbin ###1.1、linux目录 ...
分类：
系统相关 时间：
2021-06-16 18:09:40
阅读次数：
0
#linux目录和文件管理 ##一、linux目录结构 树形目录结构 根目录 所有分区、目录、文件等的位置起点 整个树形目录结构中，使用一个**“/”**表示 常见的子目录 /root、/bin、/boot、/dev、/etc、/home、/var、/usr、/sbin ###1.1、linux目录 ...
分类：
系统相关 时间：
2021-06-16 18:00:42
阅读次数：
0
1 需求描述 统计硅谷影音视频网站的常规指标，各种 TopN 指标： -- 统计视频观看数 Top10 -- 统计视频类别热度 Top10 -- 统计出视频观看数最高的 20 个视频的所属类别以及类别包含 Top20 视频的个数 -- 统计视频观看数 Top50 所关联视频的所属类别排序 -- 统计 ...
分类：
其他好文 时间：
2021-06-13 10:04:44
阅读次数：
0
