incubator-linkis 计算中间件版本v1.3.0

作者:袖梨 2026-06-02

作为连接上层应用与底层引擎的桥梁,Linkis计算中间件通过标准化接口实现多引擎无缝对接,有效提升资源互通性与开发效率。

Linkis在上层应用程序和底层引擎之间构建了高效的计算中间件层。该组件通过REST/WebSocket/JDBC等标准化接口,使各类应用能便捷访问MySQL/Spark/Hive等多样化引擎。其创新性地实现了变量、脚本等用户资源的跨平台流转,大幅提升开发效率。

这款计算中间件具备强大的连通复用与治理管控能力,通过解耦应用层和引擎层,显著简化了复杂的网络调用关系。其优势不仅体现在降低系统复杂度方面,更能有效节约开发和维护成本。

核心特点

1、丰富的底层计算存储引擎支持

目前已实现对Spark、Hive、Flink等主流引擎的完整支持,同时兼容Python、Shell等多种脚本语言。后续版本还将扩展对Trino等新型引擎的适配。

2、强大的计算治理能力

借助Orchestrator等服务组件,提供跨集群细粒度路由、多租户管理等高级功能,支持双活、主备等多样化编排策略。

3、全栈计算存储引擎架构支持

能够统一管理各类计算任务,包括离线批处理、实时流式计算等多种任务类型,实现全场景覆盖。

4、资源管理能力

ResourceManager组件不仅支持Yarn资源调度,还提供基于标签的多级资源分配机制,实现跨集群资源统一管理。

5、统一上下文服务

通过context id实现跨系统资源关联管理,支持参数变量、函数等元素的全局自动引用。

6、统一物料

建立系统级物料管理体系,支持用户间资源共享与流转,提升协作效率。

7、统一数据源管理

提供多种数据源的完整生命周期管理功能,包括版本控制、连接测试等核心特性。

8、数据源对应的元数据查询

支持对各类数据源元数据的多维度查询,包括数据库、表结构等关键信息检索。

编译和安装部署

## 后端编译

首次编译需执行初始化命令,后续可选择不同构建选项生成服务部署包或Docker镜像。

### Mac OS/Linux 系统

1. 执行初始化命令:./mvnw -N install

2. 构建选项:

- 基础部署包:./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true

- 含Docker镜像:添加-Pdocker参数

- 集成Web控制台:追加-Dlinkis.build.web=true参数

### Windows 系统

mvnw.cmd -N install

mvnw.cmd clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true

## 管理台编译

cd incubator-linkis/linkis-web

npm install

npm run build

集成 MySQL JDBC 驱动

针对MySQL许可协议限制问题,提供专用脚本快速创建集成JDBC驱动的自定义镜像,默认命名为linkis:with-jdbc。

$> LINKIS_IMAGE=linkis:1.3.1

$> ./linkis-dist/docker/scripts/make-linikis-image-with-mysql-jdbc.sh

Linkis作为大数据领域的重要中间件,通过标准化接口与强大治理能力,为各类企业提供了高效稳定的计算平台解决方案。

incubator-linkis 计算中间件 v1.3.0

相关文章

精彩推荐