LinkedIn使用Kafka日均处理消息超4.5万亿条

LinkedIn总部位于美国加利福尼亚州山景城，是一家全球最大的职业社交网站，成立于2002年12月，于2011年5月20日在美上市。截至目前，LinkedIn一共有超过6.45亿会员，超过2000万个工作岗位。LinkedIn目前使用Kafka日均处理消息超4.5万亿条，并已决定将所有工作负载迁移到Azure公有云上。

2009年，LinkedIn注册用户超过5000万人。2014年，其注册用户规模已经超过3亿。而今天，LinkedIn已经拥有超过6.45亿注册用户，超过2000万个工作岗位，每八秒钟就有一个人通过LinkedIn被雇佣。

伴随业务规模的不断扩大，LinkedIn的技术团队需要成长得更加健壮，才能满足业务需求。LinkedIn的技术团队创造了一个世界级的基础设施和一套工具和产品，使用Project Inversion重建了整个软件开发基础设施，并且选择将技术团队造的轮子开源，回馈社区与其他公司。在 LinkedIn 的数据基础设施中， Kafka 是核心支柱之一。

LinkedIn 在 2011 年 7 月开始大规模使用 Kafka，当时 Kafka 每天大约处理 10 亿条消息，这一数据在 2012 年达到了每天 200 亿条，而到了 2013 年 7 月，每天处理的消息达到了 2000 亿条。2015年，他们的最新记录是每天利用 Kafka 处理的消息超过 1 万亿条，在峰值时每秒钟会发布超过 450 万条消息，每周处理的信息是 1.34 PB。每条消息平均会被 4 个应用处理。在使用 Kafka 的最初四年中，实现了 1200 倍的增长。2019年，这个数字已经变成了4.5万亿条。