码迷,mamicode.com
首页 >  
搜索关键字:spark executor worker    ( 10463个结果
半小时,利用FEDB将你的Spark SQL模型变为在线服务
SparkSQL在机器学习场景中应用第四范式已经在很多行业落地了上万个AI应用,比如在金融行业的反欺诈,媒体行业的新闻推荐,能源行业管道检测,而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用SparkSQL在特征变换主要有一下几类1.多表场景,用于表之间拼接操作,比如交易信息表去拼接账户表2.使用udf进行简单的特征变换,比如对时间戳进行hour函数处理3.使用时间窗口和udaf
分类:数据库   时间:2020-07-09 17:54:20    阅读次数:99
Linux nginx 发布 Vue项目
#user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; ev ...
分类:系统相关   时间:2020-07-08 13:31:45    阅读次数:90
Spark Streaming
Concept http://spark.apache.org/streaming/ Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. Ease of Use Build ap ...
分类:其他好文   时间:2020-07-08 13:26:09    阅读次数:59
Spark SQL : DataFrame repartition、coalesce 对比
repartition repartition 有三个重载的函数: 1) def repartition(numPartitions: Int): DataFrame /** * Returns a new [[DataFrame]] that has exactly `numPartitions` ...
分类:数据库   时间:2020-07-08 13:17:49    阅读次数:93
小练习--感悟点
1、多态利用 如数组要存放相同类型的数据,利用父类指针实现多态可以存放不同子类型的指针。 2、二级指针 指向指针/数组的指针, 如worker** =new Work*[5]; 3、重新开辟空间实现动态数组 每次添加删除成员就new一个新空间存放。 4、判断文件是否为空方法:char ch; ifs ...
分类:其他好文   时间:2020-07-08 10:28:59    阅读次数:84
Spark 源码解读(五)SparkContext的初始化之创建和启动DAGScheduler
Spark 源码解读(五)SparkContext的初始化之创建和启动DAGScheduler DAGScheduler主要用于在任务正式提交给TaskSchedulerImpl提交之前做一些准备工作,包括:创建job,将DAG中的RDD划分到不同的Stage,提交Stage等等。SparkCont ...
分类:其他好文   时间:2020-07-07 23:39:16    阅读次数:102
MySQL 主从复制错误1837
MySQL5.6.37版本,某人在测试环境主库误操作执行删表操作,导致主从断开,在从库查看主从信息如下: Last_Errno: 1837 Last_Error: Worker 3 failed executing transaction '' at master log mysql-bin.013 ...
分类:数据库   时间:2020-07-07 19:32:13    阅读次数:102
延申三大问题中的第二个问题处理---收集查看k8s中pod的控制台日志
1.不使用logstash 2.步骤: 2.1 先获取一个文件的日志 2.2 再获取多个文件的日志 2.3 批量回去文件日志 pod日志文件路径 [root@worker hkd-eureka]# pwd /var/log/pods/test_cloud-eureka-0_26292b87-08d2 ...
分类:其他好文   时间:2020-07-07 13:11:47    阅读次数:91
spark rdd--分区理解
1.分区的作用 RDD 使用分区来分布式并行处理数据, 并且要做到尽量少的在不同的 Executor 之间使用网络交换数据, 所以当使用 RDD 读取数据的时候, 会尽量的在物理上靠近数据源, 比如说在读取 Cassandra 或者 HDFS 中数据的时候, 会尽量的保持 RDD 的分区和数据源的分 ...
分类:其他好文   时间:2020-07-07 13:11:09    阅读次数:164
Kafka Streams与其他流处理平台的差异在哪里?
本文已收录GitHub,更有互联网大厂面试真题,面试攻略,高效学习资料等近些年来,开源流处理领域涌现出了很多优秀框架。光是在Apache基金会孵化的项目,关于流处理的大数据框架就有十几个之多,比如早期的ApacheSamza、ApacheStorm,以及这两年火爆的Spark以及Flink等。应该说,每个框架都有自己独特的地方,也都有自己的缺陷。面对这众多的流处理框架,我们应该如何选择呢?在本文汇
分类:其他好文   时间:2020-07-07 11:38:26    阅读次数:67
10463条   上一页 1 ... 35 36 37 38 39 ... 1047 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!