码迷,mamicode.com
首页 > 其他好文 > 详细

Trino总结

时间:2021-01-22 12:05:01      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:hive   插入   rest   mysql   cli   RoCE   连接   总结   text   

文章目录

  • 1.Trino与Spark SQL的区别分析
  • 2.Trino与Spark SQL解析过程对比
  • 3.Trino基本概念
  • 4.Trino架构
  • 5.Trino SQL执行流程
  • 6.Trino Task执行流程
  • 相关参考:

 

1.Trino与Spark SQL的区别分析

技术图片

2.Trino与Spark SQL解析过程对比

  • Trino
    技术图片
  • Spark SQL
    技术图片

3.Trino基本概念

技术图片

4.Trino架构

技术图片
技术图片
技术图片

5.Trino SQL执行流程

技术图片

6.Trino Task执行流程

  • 任务调度:
    1.分配多少个任务?
    2.每个任务分配到哪些机器节点上?拓扑调度算法 (Topology Aware Scheduling strategy)
    答:Presto把集群资源划分成两级结构(Machine,集群);【两层结构】

  • 分配算法如下:
    2.1 当分配一个Split时候,会给定Split的一个地址,这个地址代表期望的分配地址;(尽量距离数据源最近的地址)
    2.2 从Machine层开始查找,首先查看Machine上已经分配的Split个数是否已满,若未满则分配该机器;
    2.3 若Machine资源池已满,则到集群级别找一台机器,这台机器的资源池使用量小于50%,则分配这台机器。否则分配失败;
    技术图片
    技术图片
    技术图片

相关参考:

    1. CentOS7环境下部署PrestoSQL-345版本三节点集群详细过程
    2. PrestoSQL-345集群连接MySQL5.7
    3. PrestoSQL-345集群连接Hive3.1.0
    4. Trino(Presto345) on Hive知识总结及TPC-DS测试
    5. PrestoSQL-345集群连接Kafka2.2.1
    6. PrestoSQL-345集群连接Redis5.0.5
    7. PrestoSQL-345集群连接Phoenix5.0.0-HBase2.0.0-未成功
    8. PrestoSQL-345集群连接Elasticsearch7.3.2
    9. PrestoSQL-345可视化Client yanagishima22.0部署
    10. PrestoSQL-345集群连接TPC-DS

Trino总结

标签:hive   插入   rest   mysql   cli   RoCE   连接   总结   text   

原文地址:https://www.cnblogs.com/the7theme/p/14309392.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!