failure: Lost task 18.3 in stage 17.0 (TID 59784,XXXXX, executor 19): java.lang.IllegalArgumentException: Row length is 0 场景是写入hbase： 当取出的line._1做为key ...
分类：
编程语言 时间：
2019-09-30 18:21:35
阅读次数：
101
error:org.apache.spark.shuffle.FetchFailedException: Failed to connect to xxxx/xx.xx.xx.xx:xxxx 定位来定位去与防火墙等无关。反复查看日志： 2019-09-30 11:00:46,521 | WARN | ...
分类：
Web程序 时间：
2019-09-30 18:14:18
阅读次数：
151
1.配置Intellij idea -->file -->project structure -->artifacts -->+ -->jar -->from ... >main class选择主类 -->ok(spark-assembly.jar包比较大，可以删除，大数据平台已经安装了) -->o ...
分类：
编程语言 时间：
2019-09-30 14:32:46
阅读次数：
72
import org.apache.spark.mllib.recommendation.{ALS,MatrixFactorizationModel,Rating} ALS:最小二乘法求解矩阵分解问题的最优化方法。其实，就是补充二维矩阵中缺失的打分。 输入：显性数据-train,隐形数据-train ...
分类：
其他好文 时间：
2019-09-30 14:26:49
阅读次数：
90
主要内容 mlsql部署 前提 zookeeper正常使用 spark正常使用 hadoop正常使用 安装包 "微云下载 | tar包目录下" mlsql cluster 2.4_2.11 1.4.0.tar.gz mlsql console 1.4.0.tar.gz mlsql engine_2. ...
分类：
数据库 时间：
2019-09-30 12:25:46
阅读次数：
87
主要内容 spark部署 前提 zookeeper正常使用 JAVA_HOME环境变量 HADOOP_HOME环境变量 安装包 "微云下载 | tar包目录下" Spark2.4.4 一、环境准备 上传到docker镜像 解压 二、配置文件 spark env.sh slaves spark def ...
分类：
其他好文 时间：
2019-09-30 12:23:53
阅读次数：
88
启动 出现问题 启动 hadoop, 并创建，解决 解决了 ...
分类：
其他好文 时间：
2019-09-30 00:07:47
阅读次数：
323
视频目录： Spark入门| 01 Spark概念架构 Spark入门| 02 Spark集群搭建 Spark入门| 03 Spark Shell算子操作 Spark入门| 04 Spark单词计数Shell操作 Spark入门| 05 IDEA中编写Spark单词计数程序 Spark入门| 06 ...
分类：
其他好文 时间：
2019-09-29 22:07:48
阅读次数：
127
hbase的操作命令 https://www.cnblogs.com/lzh-boy/p/8966826.html code:查看表数据 from pyspark.sql import SparkSessionimport osos.environ['PYSPARK_PYTHON']='/opt/a ...
分类：
其他好文 时间：
2019-09-29 18:20:50
阅读次数：
110
