新闻

阿里云首次公开展示Flink2.0细节,将全面拥抱大模型技术

2024-11-29阿里云

46阅

11月29日,在Flink Forword Asia 2024上,阿里云表示正主导研发Flink2.0,并首次公开展示其技术细节,Flink2.0将全面拥抱大模型,同时新增云原生存算分离、流批一体、兼容流式湖仓等特点,是该技术诞生十年以来最大的升级之一。会上,阿里云还宣布开源下一代流存储 Fluss 项目,可为Flink 提供实时流存储底座,进一步提升实时流计算的性能。

Flink2.0将全面拥抱大模型

十几年前,移动互联网时代应用的爆发对流计算提出了新的需求,流计算引擎成为了实时数仓、实时推荐、实时分析、实时大屏、实时风控等场景的核心技术之一。2014年,Apache Flink正式诞生,凭借高吞吐量和精准实时数据处理的能力,Flink迅速超越Storm、Spark Streaming等传统流计算引擎,在全球范围内被公认为流计算的事实标准。目前,Flink社区在全球的贡献者已有近2000人。

阿里巴巴是国内最早大规模应用Flink技术的科技公司,并在过去几年持续回馈社区,先后贡献和孵化Blink、Flink CDC、Paimon等优秀项目,成为Flink社区最大的贡献者,有力推动社区和实时计算技术的发展。为了满足大模型应用等新兴场景的需求,阿里云从去年开始在开源社区主导推动 Flink 2.0 的研发,对 Flink 技术架构进行全面升级,包含存算分离、流批融合、湖仓架构、AI大模型等技术方向的众多创新,这是自 2016 年 Flink 1.0 发布以来最大规模的更新,该版本将于 2025年初正式发布。

大会现场,阿里云还宣布开源下一代流存储 Fluss (Flink Unified Streaming Storage)项目,这是围绕湖仓架构打造的Flink专属实时流存储底座,可大幅提升 Flink 实时流计算的能力。即日起,全球开发者可在Github上下载使用。

阿里云开源下一代流存储 Fluss

阿里云开源大数据平台负责人王峰表示:“从使用者,到社区最大的贡献者,阿里希望持续推动Flink技术生态的繁荣,让Flink普惠千行百业企业。”

据介绍,Flink已广泛应用于互联网、电商、在线教育、游戏、金融、制造业、新能源汽车等行业;2023年,Flink凭借其优秀的流计算模型设计及其在工业界和全球范围内的成功应用,荣获SIGMOD Systems Award大奖。

责任编辑:王力
读者评论 (0)
请您登录/注册后再评论