于是 2021 年 Kyuubi 进行了架构升级,将通用解决方案抽象成通用的 Kyuubi Server,然后对接不同引擎逻辑则成为 Kyuubi Engine。这是 Kyuubi 的 1.x 版本阶段,定位演变为通用的分布式多租户 SQL 网关。 2021 Apache 孵化 2021 年 9 月 Kyuubi 进入 Apache 孵化器,在 Flink 1.16 引入 SQL Gateway 后,Kyuubi Flink...
总体而言，Kyuubi 是一个强大的分布式 SQL 引擎，通过整合 Apache Spark 的计算能力，提供了高性能、多租户支持的 SQL 查询服务。在大数据分析领域，Kyuubi 提供了一种灵活、可扩展的解决方案。官方文档：https://kyuubi.apache.org/https://kyuubi.readthedocs.io/en/v1.8.0/https://github.com/apache/kyuubi K...
如果kyuubi server日志出现org.apache.zookeeper.KeeperException$InvalidACLException: KeeperErrorCode = InvalidACL for /kyuubi。需要将kyuubi.ha.zookeeper.auth.principal和kyuubi.ha.zookeeper.auth.keytab配置为kyuubi对应的principal和keytab。 Spark Engine相关配置 本篇以Spark引擎为例讲解Kyuubi的使用方式。除此之外Kyuubi...
下面使用NDH Manager平台来说明Kyuubi服务安装部署的操作流程。1. 点击顶部服务标签,进入服务管理页面。在左侧的组件导航栏选择Kyuubi服务后,在服务实例列表栏右端,点击添加服务实例。在弹出的服务安装向导窗口中,输入新安装的服务实例名称和选择服务实例所属的集群名称(服务分组) 2. 下一步进入服务版本选择界面。对于适...
Kyuubi你可能也会喜欢 立方体计时器:速度立方体计时器
批任务会话目前仅提供 RESTful API(以及基于此 API 的 kyuubi-ctl 命令行工具),与交互式会话中常用的基于 TCP 长链接的 Thrift-Binary 协议不同,RESTful API 是基于 HTTP 短链接的协议,在典型的高可用部署中,多台 Kyuubi 服务实例部署在 Load Balancer 之后,客户端发起的请求则可能会被转发到不同的 Kyuubi 服务...
Apache Kyuubi是一个分布式和多租户网关,为数据湖查询引擎(例如Spark、Flink或Trino等)提供SQL等查询服务。 功能特性 多租户:Kyuubi通过统一的身份验证授权层为资源获取,数据和元数据访问提供端到端的多租户支持。 高可用:Kyuubi基于ZooKeeper提供了负载均衡,提供了企业级的高可用性,以及无限的客户端高并发。 多工作负载...
第一个是将 HiveQL 迁移到 SparkSQL 上,由于我们这个架构上面 Kyuubi 对于 Hive 的高度兼容性,整个过程代价和痛苦非常小,但是收效很明显,在 AQE 和我们对 AQE 拓展的加持下,我们帮助业务整体将资源砍掉将近一半的同时,任务的平均执行时间反而缩减了 75% 左右。
Kyuubi 高度兼容 HiveServer2 接口及行为,支持无缝迁移。 Kyuubi 分层架构,消除客户端兼容性问题,支持无感升级。 Kyuubi 支持 Spark SQL 全链路优化及再增强,性能卓著。 高可用、多租户、细粒度权限认证各种企业级特性都有。 构建Serverless Spark 平台。
Kyuubi 是对spark thrift server的加强版,它弥补了spark thrift server缺少的多租户,授权,负载均衡,高可用特性。 统一接口 Kyuubi使用的协议与HiveServer保持一致,因此它能够支持所有的JDBC/ODBC客户端,用户应用程序也可以根据上图的thrift API写。用户可以用多种类型的客户端连接kyuubi服务,每个连接都绑定了一个sparkSess...