首先 win+x -> 设置 -> 更新和安全 -> 开发者选项 -> 开发者模式 然后 win+r -> 输入control -> 程序 -> 启用或关闭Windows功能 -> 适用于 Linux 的 Windows 子系统 登陆：https://docs.microsoft.com/en-us ...
分类：
系统相关 时间：
2020-06-25 13:57:18
阅读次数：
179
ODS（Operational Data Store）：原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。 在ODS一般需要2个重要的步骤，示例如下： 1.建立ODS层的Hive表。 drop table if exists ods_start_log; CREATE EXTE ...
分类：
其他好文 时间：
2020-06-25 13:53:34
阅读次数：
192
SESSION级别： set param_cd=param_value; beeline --hiveconf param_cd=param_value; 系统级别： 配置hive-site.xml文件(位于$HIVE_HOME/conf)。其中默认的配置都在hive-default.xml.tem ...
分类：
其他好文 时间：
2020-06-25 13:42:35
阅读次数：
59
UI： 用于提交查询的客户端，hive自带有CLI(command line)，现在推荐使用beeline DRIVER： 1.用于接收客户端提交的SQL，并实现了session控制 2.并提供了jdbc/odbc的fetch和execute功能 COMPILER： 编译器，负责解析SQL，并从ME ...
分类：
其他好文 时间：
2020-06-25 11:40:51
阅读次数：
68
数据准备：【1】mysql数据库导出，以逗号间隔，方便后期解析【2】提交服务器：rz 上传到Linux虚拟机中【3】提交到集群中：hadoop fs –put emp.csv /input搁浅：关闭安全模式：hdfs dfsadmin -safemode leave实现简单的输入内容到文件： -ec... ...
分类：
其他好文 时间：
2020-06-24 15:54:09
阅读次数：
61
模型部署到现场为了防止泄密，需要加密。加密一方面可以防止泄密，另一方面可以便于模型跟踪管理，防止混淆。 libtorch的加载模型的函数，torchjitload();我点开load可以看到函数。有两个： TORCH_API std::shared_ptr<script::Module> load( ...
分类：
其他好文 时间：
2020-06-24 14:02:16
阅读次数：
84
前言 一直以来我都是从书上、博客上、别人口中听说数据倾斜，自己也从而指导一些解决数据倾斜的方式或者一些容易出现数据倾斜的场景。但是从来没有认真的去发现过，寻求过，研究过。 正文 我打开了hive官网 点开了 document文档 然后呢，一个一个的去找倾斜的地方，找了一会儿发现了一个地方，看到了一个 ...
分类：
其他好文 时间：
2020-06-24 13:49:25
阅读次数：
45
函数 1.hive函数分类 标准函数 自定义标准函数称之为 UDF 传递一行数据，返回一个结果 聚合函数 自定义聚合函数称之为 UDAF 传递多行数据，返回一个结果 group by sum count 表生成函数 自定义表生成函数称之为 UDTF 传递一行数据，返回多行数据 explode 2.函 ...
分类：
其他好文 时间：
2020-06-23 20:54:23
阅读次数：
64
一、选题与意义 1.Hadoop平台应用 选题：Hadoop平台应用。 简要说明理由与意义。 可以让我们熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用； 了解大数据处理的基本流程； 熟悉数据预处理方法； 熟悉在不同类型数据库 ...
分类：
其他好文 时间：
2020-06-23 19:18:44
阅读次数：
72
深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线架构和实时架构，带领大家构建
分类：
其他好文 时间：
2020-06-23 18:39:30
阅读次数：
58
