在构建高吞吐量和高可靠性的消息系统时，Apache Kafka 成为了众多程序员的首选。本文深入剖析了 Kafka 的内部机制，从宏观架构到消息流转的细节，揭示了 Kafka 如何通过精心设计的系统组件和策略，实现消息的异步处理和流量管理。 本文将带你探索 Kafka 的 ack 策略、数据持久化技术以及提升系统性能的关键设计，包括批量处理、压缩、PageCache 和零拷贝等技术。同时，文章还涵盖了负载均衡和集群管理，为你提供一个全面视角，理解 Kafka 如何满足大规模分布式系统中对消息队列的严苛要求。
在protobuf在国内兴起的时候，json over http 的 RESTful ，api也在国内同步兴起了。司内也有很多api是tRPC写的，很多是基于protobuf的，也有很多就是 json over http 的。 那么有同事就有这个疑问了：这里面只有protobuf的数据结构最复杂，而且打开任意一个 protobuf 的 java 文件都会让机器卡顿很厉害，很难想象前人在通过protobuf 来理解数据结构的时候，是不是一样非常麻烦？ 那么推动我们使用这项技术，让它们在很多团队之间占据统治地位的根本原因是什么？是某些历史团队的背景偏好么？该如何解决打开文件卡顿的问题？ 今天就让我们来一起聊聊“为什么大厂这么爱用protobuf？”
在《字节跳动容灾实践：同城容灾+异地多活是最好的模式吗？》一文中，我们介绍了字节跳动从单机房到同城多机房再到异地多活的演进过程。本文将围绕字节跳动当前的模式——同城容灾+异地多活，介绍团队在异地单元化架构落地上的一些思考和实践。
【1】最新AI生图模型Flux1.1刷屏 【2】快手可灵AI第十次更新 “对口型”功能 【3】ChatGPT发布重磅更新 【4】Adobe发布2025 Photoshop和Premiere 【5】OpenAI新标志设计被批过于简单缺乏创意 【6】Kimi探索版搜索量增强10倍 【7】阿里妈妈开源全新AI图像修复模型 【8】百度地图芭比主题导航上线 【9】看Safari广告消除动效设计 【10】微软Copilot升级全新外观 加入语音模式
推荐系统在当今的互联网应用中扮演着至关重要的角色，它极大地丰富了用户体验，帮助用户在海量信息中发现和探索他们可能感兴趣的内容。然而，随着数据量的激增和用户需求的日益多样化，传统的离线推荐系统已经难以满足用户对于实时性和个性化推荐的需求。在这种背景下，实时推荐系统应运而生，它能够迅速响应用户的行为变化，并提供更为精准的个性化推荐。 为了实现这一目标，高效的实时推荐系统必须能够持续更新用户和物品的特征，以实时捕捉和反映它们的最新行为和兴趣变化。在这个过程中，实时特征的准确性和稳定性变得至关重要，它们直接影响到推荐系统在生产环境中的效果表现。
在业务快速扩张的年代，vivo 内部的很多业务为了可以快速上线，给现网功能提供支撑，在 KV 类型的选型下许多场景都选用了轻量快速的 Redis 集群。但是随着业务的不断发展与稳定，当数据量级达到一定程度的时候，数据性质开始发生变化：有的历史 Redis 集群热度下沉，但是依然基于 Redis 集群作为载体进行 KV 存储。这种类型的数据不仅量大，而且访问频次不高。 业务的发展阶段变化也会对数据载体的诉求也会相应发生变化。对于大规模而热度不算高的 KV 存储场景而言，业务对降低成本的诉求日益增多。为了满足这种类型的业务诉求，vivo 基于 TiKV 自研一套 KV 系统供业务使用。为了让业务可以更加便捷的接入，我们基于计算存储分离架构进行设计，把 TiKV 作为存储层开发 Redis 协议兼容的 KV 存储组件。
作者有幸参与设计和开发了涉及数十亿量级的图片素材调度、处理和索引使用的平台-产业AI素材库，在平台的建设落地过程中，踩了许多坑，也有了一些工程落地上的实践总结，希望分享给大家。
