作为连接上层应用与底层引擎的桥梁,Linkis计算中间件通过标准化接口实现多引擎无缝对接,有效提升资源互通性与开发效率。
Linkis在上层应用程序和底层引擎之间构建了高效的计算中间件层。该组件通过REST/WebSocket/JDBC等标准化接口,使各类应用能便捷访问MySQL/Spark/Hive等多样化引擎。其创新性地实现了变量、脚本等用户资源的跨平台流转,大幅提升开发效率。
这款计算中间件具备强大的连通复用与治理管控能力,通过解耦应用层和引擎层,显著简化了复杂的网络调用关系。其优势不仅体现在降低系统复杂度方面,更能有效节约开发和维护成本。
1、丰富的底层计算存储引擎支持
目前已实现对Spark、Hive、Flink等主流引擎的完整支持,同时兼容Python、Shell等多种脚本语言。后续版本还将扩展对Trino等新型引擎的适配。
2、强大的计算治理能力
借助Orchestrator等服务组件,提供跨集群细粒度路由、多租户管理等高级功能,支持双活、主备等多样化编排策略。
3、全栈计算存储引擎架构支持
能够统一管理各类计算任务,包括离线批处理、实时流式计算等多种任务类型,实现全场景覆盖。
4、资源管理能力
ResourceManager组件不仅支持Yarn资源调度,还提供基于标签的多级资源分配机制,实现跨集群资源统一管理。
5、统一上下文服务
通过context id实现跨系统资源关联管理,支持参数变量、函数等元素的全局自动引用。
6、统一物料
建立系统级物料管理体系,支持用户间资源共享与流转,提升协作效率。
7、统一数据源管理
提供多种数据源的完整生命周期管理功能,包括版本控制、连接测试等核心特性。
8、数据源对应的元数据查询
支持对各类数据源元数据的多维度查询,包括数据库、表结构等关键信息检索。
## 后端编译
首次编译需执行初始化命令,后续可选择不同构建选项生成服务部署包或Docker镜像。
### Mac OS/Linux 系统
1. 执行初始化命令:./mvnw -N install
2. 构建选项:
- 基础部署包:./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
- 含Docker镜像:添加-Pdocker参数
- 集成Web控制台:追加-Dlinkis.build.web=true参数
### Windows 系统
mvnw.cmd -N install
mvnw.cmd clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
## 管理台编译
cd incubator-linkis/linkis-web
npm install
npm run build
集成 MySQL JDBC 驱动
针对MySQL许可协议限制问题,提供专用脚本快速创建集成JDBC驱动的自定义镜像,默认命名为linkis:with-jdbc。
$> LINKIS_IMAGE=linkis:1.3.1
$> ./linkis-dist/docker/scripts/make-linikis-image-with-mysql-jdbc.sh
Linkis作为大数据领域的重要中间件,通过标准化接口与强大治理能力,为各类企业提供了高效稳定的计算平台解决方案。
