原文链接： https://www.toutiao.com/i6770870821809291788/ Hive和mapreduce相关的排序和运行的参数 1.设置每个reduce处理的数据量（单位是字节） 我们在hive中查看下 配置文件hive-site.xml.template 我们打开配置文 ...
分类：
编程语言 时间：
2020-03-21 00:06:17
阅读次数：
85
原文链接： https://www.toutiao.com/i6771018203687551495/ Hive的连接 启动hadoop的时候将history也启动，如果出问题，可以方便我们后续定位 首先将Hive变成对外开放 启动hiveserver2 我们查看下 如果杀掉需要用kill -9 P ...
分类：
其他好文 时间：
2020-03-20 23:57:01
阅读次数：
114
在window下通过idea开发，在代码中需要spark，使用loacl模式，生成一些数据存放到hive中，使用的也是spark自带的hive库。在idea运行时报错：Errorwhileinstantiating‘org.apache.spark.sql.hive.HiveSessionState‘:java.lang.RuntimeException:Therootscratc
分类：
其他好文 时间：
2020-03-20 11:05:34
阅读次数：
59
spring boot 项目想要连接hive库的时候 需要导入两个jar包hadoop-common-2.5.1.jar和hive-jdbc-1.2.1 在导入的之后原来的项目启动报错具体如下 org.springframework.beans.factory.UnsatisfiedDependen ...
分类：
编程语言 时间：
2020-03-20 10:54:27
阅读次数：
222
https://www.cnblogs.com/seven-sky/p/4729962.html https://blog.csdn.net/bxjie/article/details/39581565 http://nto.github.io/AirPlay.html https://www.ji ...
分类：
其他好文 时间：
2020-03-18 11:36:39
阅读次数：
72
什么是ClickHouse？ 毛子开源的一个列式存储数据库(DBMS), 主要用于OLAP, 能使用SQL查询实时生成分析数据报告。 可以类比HBase 数据类型 与其他框架比较 | MySQL | Hive | ClickHouse | | | | | | byte | TINYINT | Int ...
分类：
其他好文 时间：
2020-03-17 19:30:21
阅读次数：
51
总结一下大数据开发基本常识： JDK（做java开发必备的开发工具包） Hadoop（Apache开发的分布式系统的基础框架）三大组件：MapReduce，Yarn，Hdfs Sqoop（数据迁移，清洗） Kettle（数据清洗，格式转换） Hive（基于Hadoop的数据仓库，并不是数据库，需要安 ...
分类：
系统相关 时间：
2020-03-15 22:17:01
阅读次数：
90
原文:如何创建一个自定义的`ErrorHandlerMiddleware`方法 在本文中，我将讲解如何通过自定义ExceptionHandlerMiddleware，以便在中间件管道中发生错误时创建自定义响应，而不是提供一个“重新执行”管道的路径。 作者：依乐祝 译文：https://www.cnb... ...
分类：
其他好文 时间：
2020-03-15 20:25:34
阅读次数：
50
当网络通信时采用TCP协议时，在真正的读写操作之前，server与client之间必须建立一个连接，当读写操作完成后，双方不再需要这个连接时它们可以释放这个连接，连接的建立是需要三次握手的，而释放则需要4次挥手，所以说每个连接的建立都是需要资源消耗和时间消耗的 示意图： 长连接： 所谓长连接，指在一 ...
分类：
其他好文 时间：
2020-03-15 15:14:48
阅读次数：
80
pyspark可用于读取textfile格式的hive表格。 1. 查看hive表的属性方法（在hive或者spark-sql命令行均可）： 查询建表信息： show create table database_name.table_name; 查询表的属性信息 (可看到表的格式信息例如，Input ...
分类：
其他好文 时间：
2020-03-14 20:06:06
阅读次数：
166
