# AutoMQ 中文站 > AutoMQ 是基于对象存储的云原生 Apache Kafka®，提供 100% Kafka 协议兼容、存算分离架构、秒级弹性伸缩、零跨可用区复制成本和企业级 Kafka 迁移能力。 ## 主要页面 - [首页](https://www.automq.net/): AutoMQ 中文站首页，介绍云原生 Kafka、存算分离架构和成本优化能力 - [中文博客](https://www.automq.net/blog): AutoMQ 中文技术文章、客户案例与行业洞察 - [AI 信息](https://www.automq.net/ai-info): 面向 AI 系统和大语言模型的 AutoMQ 技术参考 ## 中文博客 - [零跨 AZ 成本：FunPlus 如何从 AWS MSK 迁移到 AutoMQ](https://www.automq.net/blog/funplus-zero-cross-az-cost-migrated-from-msk-to-automq): FunPlus 从 AWS MSK 迁移到 AutoMQ，通过 AutoMQ Linking 实现零停机迁移，消除跨 AZ 数据传输成本，并将 Kafka 成本降低 60%。 - [为什么 Diskless Kafka 必须 100% 兼容 Kafka？](https://www.automq.net/blog/diskless-kafka-compatibility): Diskless Kafka 真正要替换的是本地磁盘架构，不是 Kafka 生态。兼容性，决定它能否省成本、降风险，并真正进入生产。 - [Fresha 如何用 AutoMQ 将 MSK 成本降低 50%](https://www.automq.net/blog/fresha-automq-msk-migration): Fresha 将 CDC Warehouse 集群从 Amazon MSK 迁移到 AutoMQ，在保持 Kafka 协议兼容和零停机迁移的同时，将该工作负载的 Kafka 成本降低约 50%。 - [从 Coinbase AWS MSK 故障看 Kafka 可用性挑战](https://www.automq.net/blog/coinbase-msk-kafka-availability): 从 Coinbase AWS MSK 故障出发，拆解 Kafka 高可用和容灾恢复的故障域差异，以及 AutoMQ 如何通过 Shared Storage 架构与 Async Kafka Linking DR 改变恢复路径。 - [为什么不应再用 MirrorMaker 来做 Kafka 迁移](https://www.automq.net/blog/why-not-mirrormaker-for-kafka-migration): Kafka migration 不只是跨集群复制。MirrorMaker 2 卡住的往往是 cutover、offset、Flink state 和 rollback，而不是数据同步本身。 - [AutoMQ x StarRocks: 英国美容健康领导者 Fresha 如何构建现代化实时分析数据栈](https://www.automq.net/blog/automq-starrocks-fresha-real-time-analytics-stack): Fresha 通过 AutoMQ 与 StarRocks 构建现代实时分析数据栈，完成近 1000 个 Topic 零停机迁移，并显著降低 Kafka 成本与查询延迟。 - [从 OpenAI 的 Kafka 实践看 Kafka 的云原生演进](https://www.automq.net/blog/openai-kafka-journey-cloud-native-streaming-evolution): OpenAI 一年内将 Kafka 吞吐量提升 20 倍，代价是放弃排序、事务和分区处理。这些 trade-off 指向 Kafka 存算分离的演进方向。 - [AWS 新发布的 S3 Files 适合作为 Kafka 的存储吗？](https://www.automq.net/blog/kafka-on-s3-files): Kafka 社区对共享存储的兴趣由来已久：如果所有数据都放在 S3 这样的共享存储上，Broker 就不需要本地磁盘，副本复制可以省掉，跨 AZ 流量费也随之消失。但对象存储的延迟一直让这个想法停留在「理论上很美」的阶段。AWS 最近... - [别再每月浪费数千美元：拆解 AWS/GCP Kafka 背后的隐性账单](https://www.automq.net/blog/aws-gcp-kafka-hidden-network-costs): 如果你在 AWS 或 GCP 上运行 Kafka 集群，现在就可以做一件事：打开你的云账单，找到「Data Transfer」那一行。 你可能会发现一个不该出现在那里的数字。不是几十美元的零头，而是几千甚至上万美元的月度支出，安静地躺... - [360 如何用 AutoMQ 解决千亿级 Kafka 冷读难题](https://www.automq.net/blog/qihoo-360-automq-kafka-cold-read-trillion-messages): 360 云平台， 基础架构部消息中间件研发 “我们运维上百套裸金属 Kafka 集群多年，最头疼的就是业务高峰期消费积压拖垮整个集群的写入。切换到 AutoMQ 后，日志检索平台的生产 P99 从 10 秒降到 500 毫秒，积压量下... - [一行配置让你的 Apache Kafka RTO 缩短一半](https://www.automq.net/blog/apache-kafka-rto-optimization-one-configuration): 从 request.timeout.ms 这一行客户端配置入手，拆解 Apache Kafka 在 Broker 故障场景下的 RTO 瓶颈，并进一步分析存算分离架构如何实现更确定的恢复时间。 - [AutoMQ FSxN WAL 性能报告解读：延迟与成本的最佳平衡](https://www.automq.net/blog/automq-fsxn-wal-performance-latency-cost-report): 背景 AutoMQ 是一款基于 S3 构建的下一代“Diskless Kafka”，完全兼容 Kafka 协议。其云原生架构通过存算分离和按需弹性，显著提升了运维效率。最核心的突破在于，它利用共享存储消除了昂贵的跨可用区（CrossA... - [从Kafka到AutoMQ：爱奇艺实时流数据架构演进](https://www.automq.net/blog/iqiyi-kafka-to-automq-streaming-architecture): AI速看： 本文详细介绍了爱奇艺在处理大规模实时流数据时，从传统Kafka架构向AutoMQ演进的技术历程。为了解决私有云环境下集群扩缩容难、资源利用率低以及运维成本高等挑战，爱奇艺开发了Stream平台与StreamSDK，实现了业... - [Kafka Connect × AutoMQ：构建零跨 AZ 数据管道](https://www.automq.net/blog/how-automq-reduces-nearly-100-of-kafka-cross-zone-data-transfer-cost): AutoMQ BYOC 正式上线 Managed Connector 能力。通过与 AutoMQ 集群深度集成，平台自动注入最佳实践配置，帮助 Kafka Connect 数据管道减少跨 AZ 流量成本，并降低 CDC 链路的部署和运... - [AutoMQ 如何实现亚 10ms 延迟的 Diskless Kafka？](https://www.automq.net/blog/how-does-automq-implement-sub-10ms-latency-diskless-kafka): 介绍 AutoMQ 如何基于 Amazon FSx 与 S3 重构 Kafka 存储层，在兼容 Kafka 协议的同时实现亚 10ms 写入延迟、零跨 AZ 流量和更低的云上存储成本。 - [AutoMQ x FSx：在 AWS 上实现 10ms 延迟的 Diskless Kafka](https://www.automq.net/blog/automq-aws-fsxn-performance-report): AutoMQ 在 AWS 上引入 FSx 作为 WAL 存储选项，在保持 Diskless Kafka 成本与弹性优势的同时，实现接近本地盘体验的低延迟写入。 - [如何选择合适的 Diskless Kafka](https://www.automq.net/blog/how-to-choose-diskless-kafka): 随着越来越多企业将 Kafka 迁移至云原生架构，AutoMQ 正逐渐成为 Kafka 用户的云端优选。作为兼容 Apache Kafka 协议、专为云设计的新一代发行版，AutoMQ 凭借高性能、弹性扩展和极致成本等优势，在全球范围... - [新加坡出行巨头 Grab 如何用 AutoMQ 重塑 Kafka 流平台](https://www.automq.net/blog/kafka-in-production-grab-jd-tencent-case-studies): 引 言 Coban 是 Grab 的实时数据流平台团队，一直致力于围绕 Kafka 构建生态系统，服务于 Grab 各个业务领域。 平台作为 Grab 数据湖的入口，从不同服务中采集数据，进行存储与后续分析。它支持事件的实时处理和分析... - [腾讯音乐如何基于 AutoMQ 降低 Kafka 50%+ 成本](https://www.automq.net/blog/tencent-music-kafka-cost-reduction-automq): 腾讯音乐娱乐集团作为中国在线音乐娱乐服务的领航者，旗下拥有众多国民级移动音频应用。每天，这些产品都会产生海量的用户行为和业务数据，为精准推荐、用户增长和商业化等核心业务提供着源源不断的数据驱动力。在这一切背后，一个强大、稳定且高效的 ... - [当 Kafka 架构显露“疲态”：共享存储领域正迎来创新变革](https://www.automq.net/blog/when-kafka-architecture-shows-its-age-innovation-happening-in-shared-storage): 本文作者为沃尔玛开发者 Ankur Ranjan 与 Sai Vineel Thamishetty 。二人长期关注 Apache Kafka 与流处理系统的演进，深入研究现代流处理架构面临的挑战与创新方向。文章不仅总结了 Kafka ... - [Kafka 如何实现零停机迁移](https://www.automq.net/blog/kafka-migration-with-zero-downtime): 随着越来越多企业将 Kafka 迁移至云原生架构，AutoMQ 正逐渐成为 Kafka 用户的云端优选。💡 作为兼容 Apache Kafka 协议、专为云设计的新一代发行版，AutoMQ 具备高性能、弹性扩展和更优成本，广泛应用于... - [为什么越来越多企业放弃 Flink/Spark，用 AutoMQ 替代传统 ETL？](https://www.automq.net/blog/automq-replaces-traditional-etl-flink-spark): 在云原生架构逐渐成为主流的今天，越来越多企业开始将 Apache Kafka 与数据湖、Lakehouse 结合，构建实时数据分析能力。然而，Kafka 到 Iceberg 的这条链路却并不轻松：需要依赖 Flink、Spark 等复... - [AutoMQ 与 Lightstreamer 达成战略合作：NASA也在用的 Kafka 数据实时分享新架构](https://www.automq.net/blog/automq-lightstreamer-real-time-kafka-data-sharing): AutoMQ 与 Lightstreamer 正式达成合作！ 数字化时代，数据已成为企业发展的核心驱动力，而实时数据处理能力更是企业在激烈的市场竞争中脱颖而出的关键。 今天，我们非常激动地宣布，AutoMQ 与 Lightstream... - [Kafka 网络成本失控？如何彻底根除 AWS、GCP 上的 Kafka 网络隐性成本？](https://www.automq.net/blog/kafka-network-cost-optimization-aws-gcp): 在云原生架构日益普及的今天，越来越多企业将 Apache Kafka 部署到 AWS 、GCP 等公有云平台。但很多架构师在实践中发现： Kafka 云上运行成本远超预期，特别是 跨可用区（AZ）之间的数据传输费用 ，常常成为账单里的... - [AutoMQ：在 Kafka 中无需使用 Cruise Control 实现自动分区重分配](https://www.automq.net/blog/automq-auto-partition-reassignment-kafka-without-cruise-control): AutoMQ 的无状态 Broker 与自我平衡特性 AutoMQ 是基于云原生重新设计的新一代 Kafka，并且已在 GitHub 开源。它完全兼容 Apache Kafka，通过将存储分离至 S3，可降低 90% 的成本，并能实现... - [深度剖析将 Kafka 构建在 S3 上的技术挑战与最佳实践](https://www.automq.net/blog/kafka-on-s3-technical-challenges-best-practices): NEWS TODAY AutoMQ 自 2023 年底正式开源以来，凭借其面向云原生场景的创新架构，迅速赢得了全球开发者的关注。目前在 GitHub 上已累计接近 6.5k Star，多次登上 GitHub Trending，受到海外... - [Kafka Linking：揭秘 AutoMQ 如何实现全球首个Zero-Downtime Kafka 迁移方案](https://www.automq.net/blog/zero-downtime-kafka-migration): 前言 AutoMQ 是一款基于云存储全新设计的 Kafka 发行版，相较传统的 Apache Kafka 拥有 10 倍的成本优势和秒级的弹性能力。为帮助用户从原有的 Kafka 集群无损切换至 AutoMQ，我们在 5.0 版本中发... - [京东 x AutoMQ x CubeFS: 万亿级 Kafka 消息规模下的降本增效之旅](https://www.automq.net/blog/jdcom-automq-cubefs-trillion-scale-kafka-messaging): 京东在万亿级 Kafka 消息规模下，基于 AutoMQ 与 CubeFS 探索云原生 Kafka 架构，降低存储与网络带宽成本，并提升 Kubernetes 环境下的扩缩容效率。 - [恭喜 AutoMQ 签约客攀科技应用在 AI 广告大模型](https://www.automq.net/blog/kepan-technology-automq-ai-advertising-model): 杭州客攀网络科技有限公司（Apollo）专注于亚马逊广告投放的培训与咨询服务、广告代投服务以及 AI 效率工具。Apollo 以利用 AI 技术为跨境电商卖家破解流量难题、助力实现业务增长为使命。自创立起，Apollo 已累计为 30... - [AutoMQ × 得物：新一代可观测架构](https://www.automq.net/blog/observing-in-style-how-poizon-rebuilt-its-data-platform-with-clickhouse-enterprise-edition): 得物可观测性平台基于 AutoMQ 与 ClickHouse 企业版构建新一代存算分离架构，降低 Kafka 与链路追踪数据平台成本，并提升弹性扩缩容与实时分析能力。 - [从 Kafka 到 AutoMQ：知乎的成本优化与运维提效之路](https://www.automq.net/blog/how-asias-quora-zhihu-use-automq-to-reduce-kafka-cost-and-maintenance-complexity): 知乎在大规模 Kafka 集群运维中，通过 AutoMQ 的存算分离与秒级弹性能力降低消息队列成本，并减少资源池扩缩容和数据搬迁带来的运维复杂度。 - [如何对 AutoMQ 进行性能测试](https://www.automq.net/blog/automq-performance-testing-guide): TL;DR AutoMQ 基于 S3 共享存储的存算分离架构，在与 Apache Kafka 保证 100% 兼容性的基础上提供了极速弹性、低成本、高性能等优势特性。AutoMQ 相比 Kafka 可以在冷读时提供更好的吞吐性能以及提... - [吉利汽车采用 AutoMQ 构建公私有云一体化的车联网核心平台](https://www.automq.net/blog/emqx-automq-the-hybrid-cloud-engine-behind-geely-connected-vehicle-innovation): 关于吉利汽车 吉利汽车集团股票代码: HK.0175 是吉利控股集团旗下一家集汽车整车、动力总成和关键零部件设计、研发、生产、销售和服务于一体的汽车集团，现有员工 7 万余人，连续四年排名中国品牌乘用车销量第一，持续引领中国品牌自信向... - [Kafka 迁移 AutoMQ 时 Flink 位点管理的挑战与解决方案](https://www.automq.net/blog/challenges-and-solutions-for-flink-offset-management-during-kafka-cluster-migration): 编辑导读：AutoMQ 是一款与 Apache Kafka 100% 完全兼容的新一代 Kafka，可以做到至多 10 倍的成本降低和极速的弹性。凭借其与 Kafka 的完全兼容性可以与用户已有的 Flink 等大数据基础设施进行轻松... - [AutoMQ BYOC 模式如何管理云的权限](https://www.automq.net/blog/automq-byoc-cloud-permission-management): 编辑导读：AutoMQ 是全球唯一一款与 Apache Kafka 100% 完全兼容的新一代 Kafka，可以做到 10 倍成本降低和极速的弹性。AutoMQ 提供的 BYOC 可以将数据面和控制面全部部署到用户的 VPC 内，具有... - [AutoMQ 助力曹操出行解决 Kafka 中秋国庆扩容痛点](https://www.automq.net/blog/automq-helps-caocao-mobility-address-kafka-scalability-issues-during-mid-autumn-and-national-day): 关于曹操出行 曹操出行创立于 2015 年 5 月 21 日，是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务，目前已经发展为中国领先的共享出行平台，曹操出行以“科技重塑绿色共享出行”为使命，将全球领先的互联网、车联网、自动驾... - [左移架构 -- 从攒批，湖仓到使用数据流的实时数据产品](https://www.automq.net/blog/real-time-data-products-shift-left-architecture): 本文介绍左移架构如何通过实时数据产品解决批处理、反向 ETL、数据湖仓等传统数据集成模式带来的数据不一致、计算成本高和信息过时问题。 - [Apache Kafka 中的认证、鉴权原理与应用](https://www.automq.net/blog/kafka-acls-authorization-usage-best-practices): 编辑导读 我们在此前的文章 《AutoMQ SASL 安全身份认证配置教程》 1介绍过 Apache Kafka （以下简称 Kafka）服务端和客户端的 SASL 认证协议配置，并在 《AutoMQ SSL 安全协议配置教程》 2详... - [原理剖析：一文搞懂 Kafka Producer（下）](https://www.automq.net/blog/kafka-producer-principles-part-two): 承接 Kafka Producer 上篇，继续拆解幂等性、Producer ID、Sequence Number、Inflight Batch、Batch 分裂、监控指标和常见故障排查，帮助开发者理解 Kafka Producer 的... - [千寻位置使用 AutoMQ 高效处理日均百亿级消息](https://www.automq.net/blog/qianxun-position-automq-10-billion-messages): 关于千寻位置 千寻位置是一家时空智能基础设施公司，成立于 2015 年 8 月。公司基于北斗卫星系统（兼容 GPS、GLONASS、Galileo）基础定位数据，利用遍布全球的 5000 多座 GNSS 星基/地基增强站、自主研发的定... - [携手AWS，零成本在EKS上体验AutoMQ企业版](https://www.automq.net/blog/automq-kafka-10x-cost-efficiency-via-aws-auto-scaling): 前言 AutoMQ是一款贯彻云优先理念来设计的 Kafka 替代产品。AutoMQ 创新地对 Apache Kafka 的存储层进行了基于云的重新设计，在 100% 兼容 Kafka 的基础上通过将持久性分离至 EBS 和 S3 带来... - [小鹏汽车使用 AutoMQ 替换 Kafka，成本优化 50%+](https://www.automq.net/blog/xpeng-motors-reduces-costs-by-50-by-replacing-kafka-with-automq): 关于小鹏汽车 小鹏汽车成立于2014年，是一家专注未来出行的科技公司。该公司一直坚持饱和式研发投入，构建全栈自研的核心能力。如今，小鹏汽车已经成为中国领先的智能电动汽车公司之一。 小鹏汽车的业务背景 小鹏汽车使用 Apache Kaf... - [系统稳定性的基石：限流在 AutoMQ 中的最佳实践](https://www.automq.net/blog/automq-rate-limiting-stability-best-practices): 前言 限流是系统在应对突发流量时保证自身运行稳定性而采取的典型操作，常见的的限流算法有固定窗口限流、滑动窗口限流、令牌桶限流和漏桶限流等 1，具体的算法原理和实现方式当前已有大量文章介绍，本文不再赘述。本文将着重介绍 AutoMQ 中... - [澎贝科技 Palmpay 使用 AutoMQ 替换 Kafka，成本优化 50%+](https://www.automq.net/blog/palmpay-uses-automq-to-replace-kafka): 关于 Palmpay Palmpay 是一家金融科技公司，专注于为用户提供便捷的移动支付和金融服务。 Palmpay 是目前非洲大陆增长最快的金融科技企业。作为金融科技创新者，PalmPay致力于为用户及商户提供更普惠、安全、灵活的数... - [你关心的云上网络方案全都在这里了](https://www.automq.net/blog/cloud-networking-solutions-for-kafka): 前言 网络是最重要的云资源之一。不同的云厂商提供的网络服务虽然有一些细节差别，但是他们整体上的分类基本是一致的。云厂商针对不同的网络应用场景设计了不同的网络服务，从而使得用户可以根据自己的需求选择最合适的网络服务。 AutoMQ11 ... - [AutoMQ 如何实现没有写性能劣化的极致冷读效率](https://www.automq.net/blog/automq-cold-read-efficiency-without-write-degradation): 前言 追赶读（Catchup Read，冷读）是消息和流系统常见和重要的场景。 削峰填谷 ：对于消息来说，消息通常用作业务间的解耦和削峰填谷。削峰填谷要求消息队列能将上游发送的数据堆积住，让下游在容量范围内消费，这时候下游追赶读的数据... - [别让 Kubernetes 上的 Apache Kafka 让你丢掉工作](https://www.automq.net/blog/apache-kafka-on-kubernetes-risks): TL;DR Apache Kafka 不是 Kubernetes Native 的数据基础设施。虽然 Kubernetes 作为云原生技术的集大成者，大大提升了企业在资源管理和 DevOps 方面的效率，但也对在其上运行的应用程序提出... - [AutoMQ SSL 安全协议配置教程](https://www.automq.net/blog/automq-ssl-security-protocol-configuration): 前言 AutoMQ1 是一种基于云重新设计的流处理系统，在保持与 Apache Kafka2 100% 兼容的前提下，AutoMQ 通过将存储分离至对象存储，显著提升了系统的成本效益和弹性能力。具体来说，AutoMQ 通过构建在 S3... - [Apache Kafka 消息清理之道](https://www.automq.net/blog/mastering-message-cleanup-with-apache-kafka): 前言 消息的清理是 MQ 中间件的基本能力，可以避免 MQ 的存储占用空间无序增长。与其他消息产品不同，Apache Kafka以下简称 Kafka 中 topic 上的消息被消费后不会被马上清除，而是由 topic 级别的清理策略来... - [Apache Kafka 3.8 新特性解读](https://www.automq.net/blog/apache-kafka-3-8-new-features): 2024年7.29日 Apache Kafka 3.8 正式发布1。该版本包含了诸多新特性与多达456个来自JIRA 的改进与修复2。AutoMQ 作为云原生的 Apache Kafka 替代产品，可以保证对 Apache Kafka... - [解读 Flink Source 接口重构后的 KafkaSource](https://www.automq.net/blog/flink-kafkasource-interface-refactor-explained): 前言 Apache Kafka 和 Apache Flink 的结合，为构建实时流处理应用提供了一套强大的解决方案1。Kafka 作为高吞吐量、低延迟的分布式消息队列，负责数据的采集、缓冲和分发；而 Flink 则是功能强大的流处理引... - [AutoMQ SASL 安全身份认证配置教程](https://www.automq.net/blog/automq-sasl-authentication-configuration): 由于 AutoMQ 1 对 Kafka 2 的全面兼容，所以对于 SASL 安全认证配置 AutoMQ 与 Kafka 的实现是相同的，通过本文你可以学会如何通过配置 SASL 安全的使用 AutoMQ。 前置知识 每个服务器都必须定... - [AWS 弹性伸缩特性介绍](https://www.automq.net/blog/aws-auto-scaling-elasticity-guide): 什么是弹性伸缩组 随着云计算技术的不断发展与云原生理念的深入人心，更加多种多样的基础部署模式层出不穷。弹性伸缩组作为一个相对较为“传统”的云技术概念，可能还是有不少同学有些陌生。今天我就以云计算鼻祖 AWS 的弹性伸缩组为例，谈一谈这... - [百行代码实现 Kafka 运行在 S3 之上](https://www.automq.net/blog/run-kafka-on-s3-with-100-lines-of-code): TL;DR 是的，你没有看错。AutoMQ1 当前已经支持完全构建于像 S3 这样的对象存储之上。你可以参考快速上手3 即刻开始体验。AutoMQ 在已有的流存储引擎之上仅仅通过对顶层 WAL 的抽象进行拓展实现少量代码即可做到一些友... - [AutoMQ 中的元数据管理](https://www.automq.net/blog/automq-metadata-management): 本文所述 AutoMQ 的元数据管理机制均基于 AutoMQ Release 1.1.0 版本 1。 前言 AutoMQ 作为新一代基于云原生理念重新设计的 Apache Kafka 发行版，其底层存储从传统的本地磁盘替换成了以对象存... - [基于Netty的自研流系统缓存实现挑战: 内存碎片与OOM困境](https://www.automq.net/blog/netty-stream-cache-memory-fragmentation-oom): 前言 Kafka 作为流处理平台，在实时流计算和在线业务场景，追尾读追求端到端低延迟。在离线批处理和削峰填谷场景，数据冷读追求高吞吐。两个场景都需要很好的数据缓存设计来支撑，Apache Kafka 的数据存储在本地文件，通过 mma... - [事务性数据系统中复制与 S3 Express One Zone 的成本分析](https://www.automq.net/blog/s3-express-one-zone-replication-transaction-cost-analysis): 原文链接：https://jackvanlightly.com/blog/2024/6/10/acostanalysisofreplicationvss3expressonezoneintransactionaldatasystems... - [Java ZGC 深度剖析及其在构建低延迟流系统中的实践心得](https://www.automq.net/blog/java-zgc-low-latency-streaming-practice): 前言 在 Java 应用程序中，垃圾回收（Garbage Collection，以下简称 GC）是一个不可避免的过程，它负责释放不再使用的内存空间以避免内存泄漏。然而，GC 操作通常会导致短暂的停顿时间（Stop the World，... - [AutoMQ vs Kafka: 来自小红书的独立深度评测与对比](https://www.automq.net/blog/xiaohongshu-automq-vs-kafka-evaluation): 测试背景 当前小红书消息引擎团队与 AutoMQ 团队正在深度合作，共同推动社区建设，探索云原生消息引擎的前沿技术。本文基于 OpenMessaging 框架，对 AutoMQ 进行了全面测评。欢迎大家参与社区并分享测评体验。 测试结... - [宝兰德徐清康解析 Kafka 和 AutoMQ 的监控](https://www.automq.net/blog/automq-multi-cloud-observability): 作者｜北京宝兰德公司解决方案总监徐清康 前言 当我们使用一个软件的时候，经常都会问这个软件怎么监控、监控他的哪些指标？Kafka 的监控挺长时间都是一个老大难的问题，社区在监控方面一直没有投入太大的精力。如果要实现一个全面的 Kafk... - [Kafka 如何基于 KRaft 实现集群最终一致性协调](https://www.automq.net/blog/kafka-kraft-cluster-consistency-principles): 架构概览 Zookeeper 提供了配置服务、分布式同步、命名服务、Leader 选举和集群管理等功能，在大数据时代的开始很多开源产品都依赖 Zookeeper 来构建，Apache Kafka 也不例外。但是随着 Kafka 功能的... - [云实例初始化的行业标准：Cloud-Init](https://www.automq.net/blog/cloud-init-cloud-instance-initialization-standard): 前言 CloudInit1 是跨平台云实例初始化的行业标准。它得到了所有主要公共云提供商的支持，适用于私有云基础设施的配置系统以及裸机安装。CloudInit 将在启动时识别其运行所在的云环境，读取来自云端提供的任何元数据，并据此初始... - [众安保险王凯解析 Kafka 网络通信](https://www.automq.net/blog/understand-kafka-network-communication-and-thread-model): 作者｜众安保险基础平台 Java 开发专家王凯 引言 今天给大家带来的是 Kafka 网路通信主要流程的解析（基于 Apache Kafka 3.72）。同时引申分析了业界当前较火的AutoMQ基于Kafka在网络通信层面的优化和提升... - [AutoMQ 自动化持续测试平台技术内幕](https://www.automq.net/blog/automq-continuous-testing-platform): 背景 AutoMQ1 作为一款流系统，被广泛应用在客户的核心链路中，对可靠性的要求非常的高。所以我们需要一套模拟真实生产场景、长期运行的测试环境，在注入各种故障场景的前提下验证 SLA 的可行性，为新版本的发布和客户的使用提供信心保证... - [AutoMQ 对象存储数据高效组织的秘密: Compaction](https://www.automq.net/blog/automq-efficient-data-organization-in-object-storage-compaction): 前言 AutoMQ 作为一款使用对象存储作为主要存储介质的消息系统，在写入链路，会将所有 Partition 的数据在内存中进行攒批（同时持久化至 EBS），当攒批大小达到一定阈值则将该批次的数据上传至对象存储，通过这种方式，使得对象... - [原理剖析| 一文搞懂 Kafka Producer（上）](https://www.automq.net/blog/kafka-producer-principles-part-one): 前言 今天给大家带来的是 Kafka Producer 的全方位解析（基于 Apache Kafka 3.72）。考虑到篇幅限制，本文分为上下两篇，上篇将介绍 Kafka Producer 的使用方法与实现原理，下篇将介绍 Kafka... - [原理剖析 | AutoMQ 系统测试体系揭秘](https://www.automq.net/blog/automq-system-testing-architecture): 前言 Apache Kafka 有着比较完备的自测体系。除了常规的单元测试和集成测试以外，Apache Kafka 还有着 1000+ 的“系统集成和性能测试”（以下简称系统测试）。系统测试会拉起一套真实的 Kafka 集群，并模拟用... - [原理剖析| Kafka Exactly Once 语义实现原理：幂等性与事务消息](https://www.automq.net/blog/what-is-kafka-exactly-once-semantics): 前言 在现代分布式系统中，确保数据处理的准确性和一致性是至关重要的。Apache Kafka，作为一个广泛使用的流处理平台，提供了强大的消息队列和流处理功能。随着业务需求的增长，Kafka 的事务消息功能应运而生，它允许应用程序以一种... - [AutoMQ Serverless 基石：秒级分区迁移](https://www.automq.net/blog/automq-serverless-cornerstone-partition-reassignment-in-a-few-seconds): 作者｜黄章衡，小红书消息引擎研发专家 引言 Apache Kafka 因存算一体化架构 ，分区迁移依赖大量数据同步的完成，以一个 100MB/s 流量的 Kafka 分区为例，运行一天产生的数据量约为 8.2T，如果此时需要将该分区迁... - [云上如何实现 Autoscaling: AutoMQ 的实战经验与教训](https://www.automq.net/blog/automq-cloud-autoscaling-practices): 背景 弹性是云原生、Serverless 的基础。AutoMQ 从软件设计之初即考虑将弹性作为产品的核心特质。对于 Apache Kafka 而言，由于其存储架构诞生于 IDC 时代，针对物理硬件设计，存储层强依赖本地存储，已不能很好... - [解析 AutoMQ 对象存储中的文件存储格式](https://www.automq.net/blog/automq-on-tigris): 作者｜王金龙，知乎消息队列研发工程师，开源爱好者，长期关注云原生基础组件 背景 作为一款新一代消息中间件，AutoMQ 充分利用了云时代的存储基础设施，保证高性能的同时极大简化运维的繁琐程度。与基于物理机自建的 Kafka 集群相比，... - [为什么公共云的弹性能力很难被发挥出来？](https://www.automq.net/blog/public-cloud-elasticity-challenges): 作者｜王小瑞 AutoMQ 联合创始人 & CEO 云计算通过资源池化实现单位资源成本更优，使企业能够将 IDC 建设、基础软件研发和运维等工作外包给云厂商，从而更专注于业务创新。资源池不仅包括服务器，还包括人才。云厂商集聚了优秀工程... - [Kafka 迁移工具 MirrorMaker2 原理起底](https://www.automq.net/blog/kafka-mirrormaker2-migration-principles): 基于 Kafka 3.7.0 版本，系统拆解 MirrorMaker2 的部署模式、核心组件和跨集群复制原理，帮助开发者理解 Kafka 数据迁移、备份与灾备链路的工作机制。 - [Kafka 线程模型痛点攻克： 提升分区写入 2 倍性能](https://www.automq.net/blog/how-to-achieve-2x-partition-write-performance-for-kafka): 引言 单分区写入在一些需要全局顺序消息的场景中具备重要应用价值。在一些严格保序场景下，需要将分区数设置为 1，并且只用单个生产者来发送数据，从而确保消费者可以按照原始顺序读取所有数据。此时，Kafka 的单分区写入性能将会决定整个系统... - [原理剖析：AutoMQ 如何实现分区持续重平衡](https://www.automq.net/blog/automq-continuous-partition-rebalancing): 引言 在一个线上 Kafka 集群中，流量的波动、Topic 的创建和删除、Broker 的消亡和启动都随时可能发生，而这些变化可能导致流量在集群各个节点间分布不均，从而导致资源浪费、影响业务稳定。此时则需要主动将 Topic 的不同... - [原理剖析: 一文搞懂 Kafka consumer 与 broker 交互机制与原理](https://www.automq.net/blog/kafka-consumer-broker-interaction-principles): 前言 Kafka Consumer 是 Kafka 事件（消息）的消费端客户端，它是 Kafka 的关键组件之一。为了确保 Kafka 集群的高效运行，Kafka 的客户端被设计为富客户端，例如，消费者组中的分区分配就是在客户端完成的... - [从 Redis 开源协议变更看开源软件与云计算巨头之间的竞争博弈](https://www.automq.net/blog/redis-license-change-open-source-cloud-competition): 背景 在云计算的风潮下，开源软件的生态环境正在经历一场剧变。2024 年 3 月 20 日，这种变化在 Redis 身上得到了集中体现。Redis 商业公司 CEO Rowan Trollope 宣布，Redis 将从 BSD 3Cl... - [原理剖析：AutoMQ 如何基于裸设备实现高性能的 WAL](https://www.automq.net/blog/principle-analysis-how-automq-implements-high-performance-wal-based-on-raw-devices): 1. 引言 AutoMQ 是一个建立在 S3 Stream 流存储库基础上的 Apache Kafka 云原生重塑解决方案。S3 Stream 利用云盘和对象存储，将对象存储作为主存储，将云盘作为缓冲区，实现了低延迟、高吞吐、“无限”... - [Kafka 痛点专题｜AutoMQ 如何解决 Kafka 冷读副作用](https://www.automq.net/blog/automq-next-gen-kafka-with-1gbs-cold-read-elastic-cloud-streaming): 背景 Apache Kafka （下文简称 Kafka）作为一款成功的流处理平台已经在各行各业中有广泛的应用，并且具备极其强大的软件生态。但是，其一些缺点也给使用者带来了很大的挑战。AutoMQ 是基于云原生架构实现的新一代 Kafk... - [研发日记｜一次 Java 乌龙“内存泄露”排查之旅](https://www.automq.net/blog/java-memory-leak-troubleshooting-story): 本文是研发日记的第一篇，分享了 AutoMQ 一起被误诊为内存泄露，但是实际是由于观测方式不当导致的乌龙问题的分析流程，读者可以从中借鉴 Java 应用内存问题的排查手段和我们的排查思路。 前情提要 在经过了九个 RC 版本的迭代后，... - [AutoMQ 如何做到 Apache Kafka 100% 协议兼容](https://www.automq.net/blog/how-automq-makes-apache-kafka-100-protocol-compatible): 开源界有很多适配了 Kafka 协议的产品，例如 Redpanda、Kafka on Pulsar。它们有的是从 0 开始重新构建 Kafka，有的是基于已有的产品来进行协议的嫁接。目前 Kafka 协议有 113 个 ErrorCo... - [AutoMQ Kafka 云上十倍成本节约的奥秘（一）： SPOT 实例](https://www.automq.net/blog/how-automq-achieves-10x-cost-efficiency-spot-instance): 近年来，无论是海外还是国内，虽然受疫情影响，公有云的市场规模增速有所放缓，但是云的市场总规模仍然是持续增长的。公有云作为一个各个国家重点布局的战略方向和其本身万亿级市场的定位 1 ，我们学习用好云是非常有必要的。 AutoMQ Kaf... ## 官方资源 - [AutoMQ 国际官网](https://www.automq.com): 英文产品站与完整资源 - [AutoMQ 文档](https://docs.automq.com): 产品文档、部署指南和最佳实践 - [AutoMQ GitHub](https://github.com/AutoMQ/automq): AutoMQ 开源仓库