HIVE分区,桶,倾斜概念 ref:https://edu.hellobi.com/course/93/play/lesson/2037 静态分区: 按日期来分区 动态分区: 商品二级类目分区(图书、数码等),是不确定的 set hive.exec.dynamic.partition 查看设置tru ...
分类:
其他好文 时间:
2020-05-17 17:42:14
阅读次数:
76
基于最新的Apache POI 4.0.1版本来总结一下整个读取和写入Excel的过程。 代码编写前准备-》 添加POI 4.0.1 maven依赖: <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId ...
分类:
Web程序 时间:
2020-05-17 17:38:36
阅读次数:
132
hive安装包conf/hive-site.xml 增加如下配置: <property> <name>hive.cli.print.header</name> <value>true</value> <description>Whether to print the names of the col ...
分类:
其他好文 时间:
2020-05-17 16:17:36
阅读次数:
97
hive是如何将HQL转换成MapReduce程序的呢,通过对hive架构的学习,您将全面了解hive的工作流程以及数据处理过程
分类:
其他好文 时间:
2020-05-17 09:15:54
阅读次数:
85
工作场所中存在许多文件,这些文件有多页长。能够加载,拆分和提取功能是许多应用程序的重要需求。一些最常见的多页文件类型是:PDF,TIFF和Microsoft Office格式,例如Docx,Doc,Xls和Xlsx。LEADTOOLS20--- 578867473 -- 特殊版本支持所有这些格式以及30多种其他多页格式。
分类:
其他好文 时间:
2020-05-15 18:30:19
阅读次数:
176
本文内容介绍通过Java程序在Excel表格中根据数据来创建透视表。 环境准备 需要使用Excel类库工具—Free Spire.XLS for Java,这里使用的是免费版,可通过官网下载Jar包并解压,手动导入lib文件夹下的Spire.Xls.jar到Java程序;或者也可以通过Maven仓库 ...
分类:
编程语言 时间:
2020-05-15 16:01:51
阅读次数:
75
原因: 1.防火墙没关闭(对应端口没有打开) 2.hadoop集群没有启动成功 3.hadoop集群处于安全模式 4.网络问题 解决方案: 1.关闭防火墙 2.jps查看进程,出现下面几个进程则启动成功。 hdfs三个进程中,datanode和namenode只有一个启动成功,可能是namenode ...
分类:
编程语言 时间:
2020-05-15 13:11:20
阅读次数:
271
启动hive之后执行查询语句报错如下: 分析得知:hive的数据库MySQL在安装的时候没有初始化 解决办法:初始化数据库 schematool dbType mysql initSchema 出现下面这个界面则表示初始化成功 验证: 原文链接:https://blog.csdn.net/weixi ...
分类:
编程语言 时间:
2020-05-15 09:42:18
阅读次数:
74
换了几个开发环境,每次都会遇到sparksql连不上元数据的情况,整理一下脱坑吧。。。。。 进入主题: 首先说一下几个文件吧,这些是我遇到的几个问题的解决方法,有可能你并不适用,仅供参考。 1、配置文件放在resources下面 2、下载hadoop-common-2.2.0-bin-master ...
分类:
数据库 时间:
2020-05-14 11:27:02
阅读次数:
101
百度大数据实习生:(百度科技园一号楼) 2018-3-31 笔试: 1.双指针的题 2.找出字符串中第一个出现两次的字母 3.通过前中序求二叉树 4.快速排序,堆排序 5.数据库的左右连接 面试: 1.MapReduce分几步,shuffle原理 2.hive 的知识 3.数据库,数据仓库 4.代码 ...
分类:
其他好文 时间:
2020-05-14 01:50:12
阅读次数:
77