Hive + HBase，数据实时写Hbase,在Hive中用sql查询
分类：
其他好文 时间：
2020-04-01 14:37:17
阅读次数：
86
使用Spire.XLS for Java将Excel转图片后显示不完整 ...
分类：
编程语言 时间：
2020-04-01 10:38:10
阅读次数：
873
前提 Hive 需要是 2.0以上版本 Tez配置 下载好tar包后，将tar包上传到HDFS集群路径下 hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz/ /tez 将Linux本机上的tar包解压 Hive配置 在hive/conf ...
分类：
其他好文 时间：
2020-03-31 22:43:48
阅读次数：
632
一、hive中表分为两种 1、内部表(管理表): 删除表的时候删除hdfs上的数据。 2、外部表 删除表的时候不删除hdfs上的数据。 外部表不能使用insert的方式插入数据，所有的数据来源，都是外部别人提供的，所以hive认为自己没有独占这份数据，所以删除hive表的时候，不会删 除表里面的数据 ...
分类：
其他好文 时间：
2020-03-31 19:14:39
阅读次数：
79
一、数据仓库的概念: 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的 ...
分类：
其他好文 时间：
2020-03-31 14:45:16
阅读次数：
77
sqoop导入导出问题 sqoop export --connect jdbc:mysql://ip:3306/eqpt_base_db?characterEncoding=utf8 --username root --password secret_password --table A_JQZ_T ...
分类：
数据库 时间：
2020-03-31 12:49:45
阅读次数：
130
1. 需要处理xlsb 文件， 查了发现只有pyxlsb可以用，公司防火墙屏蔽了我， 换外网， 得以ping。 pyxlsb和pandas1.0以上版本才兼容， 我的版本是0.25... 更新pip install --upgrade pandas 过不了权限， 添加 --user 过了 2. co ...
分类：
编程语言 时间：
2020-03-31 12:47:56
阅读次数：
112
Openpyxl是一个常用的python库，用于对Excel的常用格式及其模板进行数据读写等操作。 安装 安装 pillow：在文件中需要使用images \(jpeg, png, bmp,...\)时，需要安装pillow库。 注意：写操作时请关闭需要操作的excel文件，否则写不成功 加载xls ...
分类：
其他好文 时间：
2020-03-31 12:07:13
阅读次数：
98
需求： 1.简单导出数据； 2.导出数据与图片； 3.自动分页，设置标题； 4.设置文件名等 【原理】： 根据需要导出的内容格式进行设计模板，简单的文件格式如txt、doc,输出带换行符的字符串；如果是输出excel格式，需要借助xls插件，设计excel数据模板,如下： 1.【模板字符串】： xx ...
分类：
其他好文 时间：
2020-03-30 21:52:44
阅读次数：
135
传统Hive计算引擎为MapReduce，在Spark1.3版本之后，SparkSql正式发布，并且SparkSql与apachehive基本完全兼容，基于Spark强大的计算能力，使用Spark处理hive中的数据处理速度远远比传统的Hive快。在idea中使用SparkSql读取HIve表中的数据步骤如下1、首先，准备测试环境，将hadoop集群conf目录下的core-site.xml、hd
分类：
数据库 时间：
2020-03-30 14:42:50
阅读次数：
141
