在window下通过idea开发，在代码中需要spark，使用loacl模式，生成一些数据存放到hive中，使用的也是spark自带的hive库。在idea运行时报错：Errorwhileinstantiating‘org.apache.spark.sql.hive.HiveSessionState‘:java.lang.RuntimeException:Therootscratc
分类：
其他好文 时间：
2020-03-20 11:05:34
阅读次数：
59
spring boot 项目想要连接hive库的时候 需要导入两个jar包hadoop-common-2.5.1.jar和hive-jdbc-1.2.1 在导入的之后原来的项目启动报错具体如下 org.springframework.beans.factory.UnsatisfiedDependen ...
分类：
编程语言 时间：
2020-03-20 10:54:27
阅读次数：
222
https://www.cnblogs.com/seven-sky/p/4729962.html https://blog.csdn.net/bxjie/article/details/39581565 http://nto.github.io/AirPlay.html https://www.ji ...
分类：
其他好文 时间：
2020-03-18 11:36:39
阅读次数：
72
什么是ClickHouse？ 毛子开源的一个列式存储数据库(DBMS), 主要用于OLAP, 能使用SQL查询实时生成分析数据报告。 可以类比HBase 数据类型 与其他框架比较 | MySQL | Hive | ClickHouse | | | | | | byte | TINYINT | Int ...
分类：
其他好文 时间：
2020-03-17 19:30:21
阅读次数：
51
总结一下大数据开发基本常识： JDK（做java开发必备的开发工具包） Hadoop（Apache开发的分布式系统的基础框架）三大组件：MapReduce，Yarn，Hdfs Sqoop（数据迁移，清洗） Kettle（数据清洗，格式转换） Hive（基于Hadoop的数据仓库，并不是数据库，需要安 ...
分类：
系统相关 时间：
2020-03-15 22:17:01
阅读次数：
90
原文:如何创建一个自定义的`ErrorHandlerMiddleware`方法 在本文中，我将讲解如何通过自定义ExceptionHandlerMiddleware，以便在中间件管道中发生错误时创建自定义响应，而不是提供一个“重新执行”管道的路径。 作者：依乐祝 译文：https://www.cnb... ...
分类：
其他好文 时间：
2020-03-15 20:25:34
阅读次数：
50
当网络通信时采用TCP协议时，在真正的读写操作之前，server与client之间必须建立一个连接，当读写操作完成后，双方不再需要这个连接时它们可以释放这个连接，连接的建立是需要三次握手的，而释放则需要4次挥手，所以说每个连接的建立都是需要资源消耗和时间消耗的 示意图： 长连接： 所谓长连接，指在一 ...
分类：
其他好文 时间：
2020-03-15 15:14:48
阅读次数：
80
pyspark可用于读取textfile格式的hive表格。 1. 查看hive表的属性方法（在hive或者spark-sql命令行均可）： 查询建表信息： show create table database_name.table_name; 查询表的属性信息 (可看到表的格式信息例如，Input ...
分类：
其他好文 时间：
2020-03-14 20:06:06
阅读次数：
166
之前有操作过HBase和Hive的案例，将30w条数据从Hive导入HBase。使用sqoop可以快速简单做到，但是在最新版HBase2.0与最新版Hive3.0之间，旧版sqoop不行，因此当时使用了JDBC来连接两者，达到数据导出的目的。 HBase与Hive的对比 Hive 作为数据仓库，Hi ...
分类：
其他好文 时间：
2020-03-14 18:38:23
阅读次数：
53
前言 那个啥…前面发了2篇文章讲这个商品表的设计，后面越多需求浮出水面才发现设计依旧有问题，好吧，乐观一点，正如我博客的标题一样，我在进化…^_^ 为什么要这样设计 先说几个需求，看看您现在是如何去实现： 一个用户来到我们网站,在前台页面, 1.他要买洗发水，他进入了洗发水的类别，他想买带去屑止痒功 ...
分类：
其他好文 时间：
2020-03-13 20:28:41
阅读次数：
45
