AutoMQ

Kafka 迁移 AutoMQ 时 Flink 位点管理的挑战与解决方案

编辑导读： AutoMQ 是一款与 Apache Kafka 100% 完全兼容的新一代 Kafka，可以做到至多 10 倍的成本降低和极速的弹性。凭借其与 Kafka 的完全兼容性可以与用户已有的 Flink 等大数据基础设施进行轻松整合。Flink 是重要的流处理引擎，与 Kafka …

得物使用AutoMQ构建海量数据处理的新一代可观测性架构

引言得物作为全球领先的潮流网购社区，日益增长的用户和数据带来了巨大的技术挑战。当前，得物的可观测性平台每天生成数PB级Trace数据和数万亿条Span记录，要求平台具备高效的实时处理能力和低成本的数据存储解决方案。传统的存算一体架构将…

知乎启用AutoMQ替换Kafka，开辟成本优化与运维提效新纪元

作者：知乎在线架构组王金龙关于知乎知乎公司，成立于 2010 年 8 月 10 日，于 2011 年 1 月 26 日正式上线，是中文互联网的高质量问答社区和创作者聚集的原创内容平台。知乎起步于问答，而超越了问答。知乎以「生…

携手AWS，零成本在EKS上体验AutoMQ企业版

01 前言 AutoMQ是一款贯彻云优先理念来设计的 Kafka 替代产品。AutoMQ 创新地对 Apache Kafka 的存储层进行了基于云的重新设计，在 100% 兼容 Kafka 的基础上通过将持久性分离至 EBS 和 S3 带来了 10x 的成本降低以及 100x 的弹性能力提升，并且相比 Apa…

AutoMQ 携手阿里云共同发布新一代云原生 Kafka，帮助得物有效压缩 85% Kafka 云支出！

3 月 9 日，“AutoMQ x 阿里云云原生创新论坛”在阿里巴巴西溪园区圆满落幕。本次论坛现场不仅重磅发布了新一代云原生 Kafka 产品（AutoMQ On-Prem 版），还邀请了来自得物的稳定生产负责人分享 AutoMQ 在生产场景中的应用实践&…

基于Netty的自研流系统缓存实现挑战: 内存碎片与OOM困境

01 前言 Kafka 作为流处理平台，在实时流计算和在线业务场景，追尾读追求端到端低延迟。在离线批处理和削峰填谷场景，数据冷读追求高吞吐。两个场景都需要很好的数据缓存设计来支撑，Apache Kafka 的数据存储在本地文件&#xff0c…

AWS 弹性伸缩特性介绍

01 什么是弹性伸缩组随着云计算技术的不断发展与云原生理念的深入人心，更加多种多样的基础部署模式层出不穷。弹性伸缩组作为一个相对较为“传统”的云技术概念，可能还是有不少同学有些陌生。今天我就以云计算鼻祖 AWS 的弹性伸缩组为例，谈…

AutoMQ 生态集成 Redpanda Console

通过 Kafka Web UI 更加便利地管理 Kafka/AutoMQ 集群随着大数据技术的飞速发展，Kafka 作为一种高吞吐量、低延迟的分布式消息系统，已经成为企业实时数据处理的核心组件。然而，Kafka 集群的管理和监控却并非易事。传统的命令行工具和脚本虽…

AutoMQ vs Kafka: 来自小红书的独立深度评测与对比

测试背景当前小红书消息引擎团队与 AutoMQ 团队正在深度合作，共同推动社区建设，探索云原生消息引擎的前沿技术。本文基于 OpenMessaging 框架，对 AutoMQ 进行了全面测评。欢迎大家参与社区并分享测评体验。 01 测试结论本文主要测评云…

AutoMQ 与蚂蚁数科达成战略合作

近期，AutoMQ 与蚂蚁数科正式签署战略合作协议，将和蚂蚁数科云原生 PaaS 平台 SOFAStack 在产品研发、生态集成、市场合作、技术社区影响力等多方面开展深度合作。 AutoMQ 是业内领先的消息和流存储服务提供商，基于云原生基础设施重新设计了 …

AutoMQ 如何在 AWS 上避免 Kafka 跨 AZ 网络传输费用

文章导读：AutoMQ与海外开发者一起深入剖析了关于 Apache Kafka 在云计算环境下的操作和挑战，特别是在跨可用区（AZ）传输中的高成本问题。分析了 AutoMQ 如何通过优化服务发现，确保客户端始终与同一 AZ 的 broker 通信&a…

AutoMQ 流表一体新特性 Table Topic 发布：无缝集成 AWS S3 Table 和 Iceberg

超越共享存储：使用 Apache Iceberg 中的 AutoMQ Table Topic 实现流处理与分析的统一自 2023 年底官宣以来，AutoMQ 成功地将 Apache Kafka 从“Shared Nothing architecture”转变为“Shared Storage architecture”，这为京东、知乎、小红书…

如何通过 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移

01 引言随着大数据技术的飞速发展，Apache Kafka 作为一种高吞吐量、低延迟的分布式消息系统，已经成为企业实时数据处理的核心组件。然而，随着业务的扩展和技术的发展，企业面临着不断增加的存储成本和运维复杂性问题。为了更好地…

活动回顾 | AutoMQ 联合 GreptimeDB 共同探讨新能源汽车数据基础设施

7 月 13 日，AutoMQ 携手 GreptimeDB“新能源汽车数据基础设施” 主题 meetup 在上海圆满落幕。本次论坛多角度探讨如何通过创新的数据管理和存储架构，提升汽车系统的性能、安全性和可靠性，从而驱动行业的持续发展和创新，涵盖 Auto…

AutoMQ 产品动态 | 发布 1.1.0，兼容至 Apache Kafka 3.7，支持 Kaf

2024年05-06月动态 01 云原生 Kafka 内核 AutoMQ 发布 1.1.0 版本，兼容 Apache Kafka 到 3.7 版本。 AutoMQ 采用存算分离的思路重构 Apache Kafka，计算层 100% 保留 Kafka 代码，可以更好、更快地适配 Apache Kafka 新版本。经过代码 Revi…

事务性数据系统中复制与 S3 Express One Zone 的成本分析

原文链接：https://jack-vanlightly.com/blog/2024/6/10/a-cost-analysis-of-replication-vs-s3-express-one-zone-in-transactional-data-systems作者｜Jack Vanlightly AutoMQ 导读随着 S3 在构建现代化数据基础设施的流行，广大 data in…

AutoMQ 1.1.0-RC0 重磅更新：内核升级到 Apache Kafka 3.7.0

AutoMQ 在 2024.02 正式发布了基于 Apache Kafka 3.4.0 的云原生重构版本 1.0.0，AutoMQ 1.0.0 版本相比原版提供了 Serverless、自动负载均衡、秒级分区迁移和 All in 对象存储能力，让 Kafka 用户能充分利用云的弹性能力和廉价存储，实现十倍成…

活动预告｜云原生创新论坛：知乎携手 AutoMQ、OceanBase、快猫星云的实践分享

近年来，云原生技术迅猛发展，成为企业数字化转型的关键动力，云原生不仅极大地提升了系统的灵活性和可扩展性，还为企业带来了前所未有的创新机遇。 12 月 28 日知乎携手 AutoMQ、OceanBase 和快猫星云推出“云原生创新论坛”主题的…

AutoMQ 生态集成 Apache Doris

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此&#xf…

AutoMQ 自动化持续测试平台技术内幕

01 背景 AutoMQ[1] 作为一款流系统，被广泛应用在客户的核心链路中，对可靠性的要求非常的高。所以我们需要一套模拟真实生产场景、长期运行的测试环境，在注入各种故障场景的前提下验证 SLA 的可行性，为新版本的发布和客户的使用提…

AutoMQ 中的元数据管理

本文所述 AutoMQ 的元数据管理机制均基于 AutoMQ Release 1.1.0 版本 [1]。 01 前言 AutoMQ 作为新一代基于云原生理念重新设计的 Apache Kafka 发行版，其底层存储从传统的本地磁盘替换成了以对象存储为主的共享存储服务。对象存储为 AutoMQ 带来可观成本优势的…

活动报名｜AutoMQ x 阿里云云原生创新论坛（2024.03.09）见证“新一代云原生 Kafka ”重磅发布！

新一年， AutoMQ 首场线下活动重磅来袭！2024年3月9日，由 AutoMQ 与阿里云联合举办的云原生创新论坛将于杭州与大家见面，双方联合重磅发布新一代云原生 Kafka ——AutoMQ On-Prem 版本 ！现场将会分享如何通过云原生和存算…