转：https://www.jb51.net/article/145522.htm shutil模块提供了许多关于文件和文件集合的高级操作，特别提供了支持文件复制和删除的功能。 文件夹与文件操作 copyfileobj(fsrc, fdst, length=16*1024)： 将fsrc文件内容复制 ...
分类：
编程语言 时间：
2019-07-29 10:10:50
阅读次数：
141
SparkSQL是指整合了Hive的spark-sql cli, 本质上就是通过Hive访问HBase表，具体就是通过hive-hbase-handler, 具体配置参见：Hive(五):hive与hbase整合 目录： SparkSql 访问 hbase配置 测试验证 SparkSql 访问 hb ...
分类：
数据库 时间：
2019-07-29 00:15:25
阅读次数：
107
`ssl checker show "POODLE attacks on SSLv3 vulnerability" ssl checker https://www.sslshopper.com/ssl checker.html https://www.ssllabs.com my centos 中的 ...
分类：
其他好文 时间：
2019-07-28 20:05:30
阅读次数：
148
Cloudera-JDBC-Driver-for-Apache-Hive-Install-Guide.pdf https://github.com/FlowerBirds/flowerbirds.github.io/blob/master/doc/Cloudera-JDBC-Driver-for-A ...
分类：
数据库 时间：
2019-07-27 19:48:16
阅读次数：
116
最近一段时间，处理过一个问题，那就是hive jdbc的连接问题，其实也不是大问题，就是url写的不对，导致无法连接。问题在于HiveServer2增加了别的安全验证，导致正常的情况下，传递的参数无法使用，hive连接返回用户为空的错误，具体错误不再详谈，今天就说说jdbc的url书写问题。 正常情 ...
分类：
数据库 时间：
2019-07-27 19:48:05
阅读次数：
309
Hive的参数设置方式 1、配置文件 （全局有效） 2、命令行参数（对 hive 启动实例有效） 3、参数声明 （对 hive 的连接 session 有效） （1）配置文件 Hive 的配置文件包括： A. 用户自定义配置文件：$HIVE_CONF_DIR/hive-site.xml B. 默认配 ...
分类：
其他好文 时间：
2019-07-26 14:48:32
阅读次数：
180
hive中有四种排序： 1、全局排序：order by 2、内部排序：sort by 3、分区排序：distribute by 4、组合排序：cluster by 全局排序：order by 说明：全局排序是在一个MapReduce中进行排序的。 参数： ASC：是升序的意思和mysql一样，同时也 ...
分类：
编程语言 时间：
2019-07-26 14:26:15
阅读次数：
113
大数据技术之Azkaban 一 概述 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作 ...
分类：
其他好文 时间：
2019-07-26 09:15:11
阅读次数：
265
HIVE的连接模式== 本地连接模式 直接启动hive命令 HIVE的远程连接 这里要启动HIVE的服务 thirft进行编写 hiveserver2 —- > 前台启动 后台启动 前台启动 hiveserver2 后台启动 hiveserver2 & beeline !connect jdbc:h ...
分类：
其他好文 时间：
2019-07-25 17:59:46
阅读次数：
158
一 为什么要学习HIVE? 为什么不是ORACLE和MYSQL? 因为大数据时代 数据量成几何倍数增长，并且数据量非常庞大。大到要用PB EB这种量级去衡量。而我们的ORACLE/MYQL这种数据库是TB级数据库，所以远远的达不到大数据时代对数据的要求。 还有由于大数据工程师主要来自两个方向： 第一 ...
分类：
其他好文 时间：
2019-07-25 17:42:21
阅读次数：
100
