第一part：Excel文件的介绍 Microsoft Excel是Microsoft为使用Windows和Apple Macintosh操作系统的电脑编写的一款电子表格软件。 excel文档的基本定义工作薄(workbook)工作表(sheet)活动表(active sheet)行(row): 1 ...
分类：
编程语言 时间：
2020-11-27 11:08:02
阅读次数：
8
认识Hive 从MapReduce到SQL Hive架构 三种安装方式 Hive与关系型数据库的区别 1. 认识Hive 前面我们讲到了mapreduce计算框架，各位需要通过java编码的形式来实现设计运算过程，Hive的设计目的就是为了让精通sql技能而java较弱的分析师能够利用hadoop进 ...
分类：
其他好文 时间：
2020-11-21 12:33:40
阅读次数：
7
大数据查询引擎Presto简介SQLonHadoop：Hive的出现让技术人员可以通过类SQL的方式对批量数据进行查询，而不用开发MapReduce程序MapReduce计算过程中大量的中间结果磁盘落地使运行效率较低为了提高SQLonHadoop的效率，各大工具应运而生，比如Shark、Impala等SQLonHadoop的常见工具：Presto是什么：Presto是由Facebook开发的分布式
分类：
数据库 时间：
2020-11-21 12:01:11
阅读次数：
8
使用工具连接hive: https://blog.csdn.net/weixin_44508906/article/details/91348665代码连接：先从虚拟机上找到 把这三个jar包加到file->Project Structure->Modules->Dependencies 点击ok ...
分类：
其他好文 时间：
2020-11-20 11:51:40
阅读次数：
5
思路： 0）复制test.xls，为new.xls ，并 以key ,value的形式存base.xls数据（ C列是key B列是value ） 1）在new.xls中：判断这个sheet页是否为空 不为空可，走2），为空跳过不走 2）判断当前行是否为空 不为空可，走3），为空跳过不走 3) 判断 ...
分类：
编程语言 时间：
2020-11-20 11:38:28
阅读次数：
6
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
背景： 最近公司有个需求要求可以导入、导出excel，因此在此记录学习一下如何使用Springboot整合easyExcel；需求：数据库中有张user表，有个业务要求可以导入、导出“用户名单.xls”表 一、准备： 创建项目：关于springboot项目如何创建这里不再赘述，放一张项目结构图：1、 ...
分类：
编程语言 时间：
2020-11-18 12:49:12
阅读次数：
10
使用Flask-excel导出数据 安装： pip install Flask-Excel pip install pyexcel-xlsx # 导出xlsx pip install pyexcel-xls # 导出xls 注册app import flask_excel as excel exce ...
分类：
其他好文 时间：
2020-11-18 12:34:05
阅读次数：
3
Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
Hive Join优化以及Hive Join的几个重要特点，在实际使用时也可以利用下列特点做相应优化 ...
分类：
其他好文 时间：
2020-11-17 12:55:26
阅读次数：
18
