在Hive中还有一项比较好用的功能，也是非常重要的功能：在建表的时候可以不指定表的行、字段、列的分隔方式，通过给表指定一段正则表达式，让Hive自动去匹配； 1、创建表 2、日志文件内容 3、导入本地数据 4、查看结果 ...
分类：
其他好文 时间：
2019-09-11 23:41:36
阅读次数：
105
1、Hive2 beeline Beeline 要与HiveServer2配合使用，支持嵌入模式和远程模式 启动beeline 打开两个Shell窗口，一个启动Hive2 一个beeline连接hive2 启动beeline之后可以尝试连接hiveserver2 2、Hive jdbc 打开Ecli ...
分类：
数据库 时间：
2019-09-11 23:39:22
阅读次数：
119
Hive嵌入Python Python的输入输出都是\t为分隔符，否则会出错，python脚本输入print出规定格式的数据 用法为先add file，使用语法为TRANSFORM (name, items) USING 'python test.py' AS (name string, item1 ...
分类：
编程语言 时间：
2019-09-11 23:35:42
阅读次数：
111
Hive自定义函数包括三种UDF、UDAF、UDTF UDF(User-Defined-Function) 一进一出 UDAF(User- Defined Aggregation Funcation) 聚集函数，多进一出。Count/max/min UDTF(User-Defined Table-G ...
分类：
其他好文 时间：
2019-09-11 23:32:40
阅读次数：
125
1、在hive中显示当前数据库的名字和表头的信息，需要在$HIVE_HOME/conf目录下的hive-site.xml文件中添加如下内容： <property> <name>hive.cli.print.header</name> <value>true</value> </property> < ...
分类：
其他好文 时间：
2019-09-11 17:44:32
阅读次数：
65
1. 进入Hadoop环境(在Hadoop安装目录下运行命令、若配置好ssh则可以直接运行启动命令) 2. 启动hive进程（按照网上或林子雨的配置教程来就可以，不再赘述） 进入到shell 3.加载数据到hive数据库（在项目实操中不建议查询语句为select *，而应根据列名查询，若只是查看表结 ...
分类：
其他好文 时间：
2019-09-11 10:11:58
阅读次数：
79
1.1.1.读取Socket数据 ●准备工作 nc -lk 9999 hadoop spark sqoop hadoop spark hive hadoop ●代码演示： import org.apache.spark.SparkContext import org.apache.spark.sql ...
分类：
其他好文 时间：
2019-09-11 10:06:19
阅读次数：
126
基于kubernetes部署JAVA项目将项目迁移到k8s平台是怎样实现的?1制作镜像2控制器管理Pod3Pod数据持久化4暴露应用5对外发布应用6日志/监控1制作镜像分为三步：第一基础镜像，是基于哪个操作系统，比如Centos7或者其他的第二步中间件镜像，比如服务镜像，跑的像nginx服务，tomcat服务第三步项目镜像，它是服务镜像之上的，将你的项目打包进去，那么这个项目就能在你这个服务镜像里
分类：
编程语言 时间：
2019-09-10 22:07:11
阅读次数：
122
第一种（推荐使用）：import org.apache.hadoop.hive.ql.exec.UDF;import java.util.Calendar;public class GetAge extends UDF { public String evaluate(String sfzjh){ ...
分类：
编程语言 时间：
2019-09-10 16:20:06
阅读次数：
797
[TOC] DRF jwt认证(三大认证) authentication认证 自定义认证类：基于jwt 普通自定义认证类 permission权限 自定义权限类：为 管理员 分组成员 throttle频率 自定义频率类：一分钟一个手机号只允许访问一次接口 session认证 实现登录接口反序列化操作 ...
分类：
其他好文 时间：
2019-09-09 23:05:40
阅读次数：
220
