码迷,mamicode.com
首页 >  
搜索关键字:spark executor worker    ( 10463个结果
abp 报Autofac.Core.DependencyResolutionException 依赖注入的错
An exception was thrown while activating Castle.Proxies.ProcedureAppServiceProxy.Autofac.Core.DependencyResolutionException: An exception was thrown w ...
分类:其他好文   时间:2021-06-02 14:54:19    阅读次数:0
nginx配置数据
#user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; ev ...
分类:其他好文   时间:2021-06-02 14:41:17    阅读次数:0
08 学生课程分数的Spark SQL分析
读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于95分的学生人数? Tom选修了几门课?每 ...
分类:数据库   时间:2021-06-02 12:16:19    阅读次数:0
Spark 通过 jdbc 写入 Clickhouse
说明 使用了自定义的数据库连接池,没有对连接做timeout处理,以后再完善。 由于jdbc不能完全支持clickhouse中的数据类型,采用raw sql的方式处理。 后期考虑封装Java对象到Clickhouse数据类型的映射。 插入时应采用批量写入,例子中的代码仅为测试目的,没有做封装。 <d ...
分类:数据库   时间:2021-06-02 10:35:03    阅读次数:0
08 学生课程分数的Spark SQL分析
用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 2.总共有多少学生? 3.总共开设了哪些课程? 4.每个学生选修了多少门课? 5.每门课程有多少个学生选? 6.每门课程大于95分的学生人数? 7.Tom选修了几门课?每门课多少分? 8. ...
分类:数据库   时间:2021-05-25 17:40:47    阅读次数:0
gdb 打印每个线程的bt ps 状态等命令
for i in `ps -AL |grep Worker | awk '{print $2}'`; do \ echo $i ; \ gdb --q --n --ex bt --batch --pid $i; \ done 2>&1 |tee /var/stacks.txt CPU使用率较低但负载 ...
分类:数据库   时间:2021-05-24 17:19:34    阅读次数:0
Spark 集群安装部署
安装准备 Spark 集群和 Hadoop 类似,也是采用主从架构,Spark 中的主服务器进程就叫 Master(standalone 模式),从服务器进程叫 Worker Spark 集群规划如下: node-01:Master node-02:Worker node-03:Worker 安装步 ...
分类:其他好文   时间:2021-05-24 17:07:05    阅读次数:0
08 学生课程分数的Spark SQL分析
08 学生课程分数的Spark SQL分析 一. 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现 ...
分类:数据库   时间:2021-05-24 17:01:32    阅读次数:0
08 学生课程分数的Spark SQL分析
读学生课程分数文件chapter4-data01.txt,创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 总共有多少学生? 总 ...
分类:数据库   时间:2021-05-24 16:59:25    阅读次数:0
08 学生课程分数的Spark SQL分析
一. 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 df_scs. ...
分类:数据库   时间:2021-05-24 16:51:04    阅读次数:0
10463条   上一页 1 ... 4 5 6 7 8 ... 1047 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!