1、脚本化运行 大量的hive查询任务,如果用交互式shell来进行输入的话,显然效率及其低下,因此,生产中更多的是使用脚本化运行机制: 该机制的核心点是:hive可以用一次性命令的方式来执行给定的hql语句 hive -e "insert into table t_dest select * fr ...
分类:
其他好文 时间:
2020-07-05 00:34:10
阅读次数:
60
<el-upload class="upload-demo" ref="upload" :action="uploadURL+'/customer/excel'" //后台接口(接受上传的文件并做后端的逻辑处理) :headers="headers" accept=".xlsx,.xls" // 限 ...
分类:
其他好文 时间:
2020-07-04 17:01:24
阅读次数:
127
简介 读取Excle文档,支持xls,xlsx格式 安装:pip3 install xlrd 导入:import xlrd xlrd 模块方法 读取Excel file = 'route_info.xls' # 读取Excel信息,生成对象 read_book = xlrd.open_workboo ...
分类:
编程语言 时间:
2020-07-04 13:20:57
阅读次数:
64
方式一: SavaAsTable 用法: df.write.mode(SaveMode.Overwrite).insertInto(table) 方式二: InsertInto 用法: df.write.mode(SaveMode.Overwrite).saveAsTable(table) 两种方式 ...
分类:
其他好文 时间:
2020-07-03 01:10:09
阅读次数:
152
pip install openpyxl 写文件 from openpyxl import Workbook wb = Workbook() # grab the active worksheet ws = wb.active # or # ws = wb.create_sheet("Sheet1" ...
分类:
其他好文 时间:
2020-07-03 01:07:20
阅读次数:
87
大数据开发的最后一环,将数仓中ADS层的数据,导出到MySql,剩下就是Java工程师的事了。 1 在MySql中创建对应的ADS表,字段和类型与数仓中的表一致,略。 2 数据导出脚本。 ①--update-mode updateonly:只更新,无法插入新数据。 allowinsert:允许新增 ...
分类:
数据库 时间:
2020-07-02 23:16:56
阅读次数:
81
程序函数库可分为3种类型:静态函数库(static libraries)、共享函数库(shared libraries)、动态加载函数库(dynamically loaded libraries): 静态函数库,是在程序执行前就加入到目标程序中去了; 共享函数库,则是在程序启动的时候加载到程序中,它 ...
分类:
系统相关 时间:
2020-07-02 16:10:56
阅读次数:
85
windows 10 下面安装tensorflow gpu版本和pycharm中使用 ...
今天学习了一下Hive的自定义函数,于是乎想练习一下在本地编写一个自定义的函数,然后打包上传到集群,再进行执行的过程。但是中间遇到了一些小挫折,就是当我打包的时候,除了导入正常所需要的org.apache.hive包之外,并没导入其他的包。但是开始打包以后,报错了,报错信息如下: Could not ...
分类:
编程语言 时间:
2020-07-01 11:03:18
阅读次数:
199
本文将介绍如何在Java程序中使用代码给Excel文档设置内置文档属性和自定义文档属性。
分类:
编程语言 时间:
2020-07-01 00:25:59
阅读次数:
126