本文对Hadoop+HBase+Spark+Hive环境搭建方法和步骤进行了详细介绍和说明，记录于此，供各位同学及自己参考研究。 ...
分类：
其他好文 时间：
2021-02-05 10:38:53
阅读次数：
0
Spark环境配置 spark-env.sh #JAVA_HOME export JAVA_HOME=/export/servers/jdk1.8.0_271 #Spark Master Address #export SPARK_MASTER_HOME=node01 export SPARK_MA ...
分类：
其他好文 时间：
2021-02-04 11:53:09
阅读次数：
0
每个task处理一个partition，一个文件的大小/128M就是task的数量 Task的最大并发数 当task被提交到executor之后，会根据executor可用的cpu核数，决定一个executor中最多同时运行多少个task。 默认情况下一个task对应cpu的一个核。如果一个exec ...
分类：
其他好文 时间：
2021-02-02 11:14:58
阅读次数：
0
1、创建 Spring Boot 应用，集成 Shiro 及相关组件，pom.xml ...
分类：
编程语言 时间：
2021-02-02 10:41:07
阅读次数：
0
安装logstash 手动导入Mysql驱动 新建jdbc.conf vim jdbc.conf input { stdin { } jdbc { # 连接的数据库地址和哪一个数据库，指定编码格式，禁用SSL协议，设定自动重连 jdbc_connection_string => "jdbc:mysq ...
分类：
其他好文 时间：
2021-02-01 12:50:17
阅读次数：
0
Spring Boot 可以结合 Thymeleaf 模版来整合 HTML，使用原生的 HTML 作为视图。 Thymeleaf 模版是面向 Web 和独立环境的 Java 模版引擎，能够处理 HTML、XML、JavaScript、CSS 等。 ...
分类：
编程语言 时间：
2021-01-29 12:05:11
阅读次数：
0
yml spring: data: elasticsearch: client: reactive: endpoints: 192.168.209.160:9200 connection-timeout: 10000#链接到es的超时时间，毫秒为单位，默认10秒（10000毫秒） socket-ti ...
分类：
编程语言 时间：
2021-01-28 12:03:55
阅读次数：
0
Q：第一次提交wordcount案例，OK，一切正常。再次提交，出现下述错误。完整错误粘贴如下： 21/01/27 14:55:48 INFO spark.SecurityManager: Changing modify acls groups to: 21/01/27 14:55:48 INFO ...
分类：
编程语言 时间：
2021-01-28 11:56:52
阅读次数：
0
spark 从数据库中读取数据的几种方式，以Mysql 为例 创建spark val spark = SparkSession.builer().appName("用户标签").master("local[*]").getOrCreate() val url = "jdbc:mysql://数据库地 ...
分类：
数据库 时间：
2021-01-27 13:56:39
阅读次数：
0
1、依赖 <dependency> <groupId>com.auth0</groupId> <artifactId>java-jwt</artifactId> <version>3.4.0</version> </dependency> 2、JWT工具类生成 import com.auth0.jw ...
分类：
编程语言 时间：
2021-01-27 13:14:05
阅读次数：
0
