O que é Apache Kafka
Apache Kafka é uma plataforma open-source de streaming de eventos distribuída, criada originalmente pelo LinkedIn em 2010 por Jay Kreps, Neha Narkhede e Jun Rao, e doada à Apache Software Foundation em 2011. Hoje é usada por gigantes como Netflix (1+ trilhão de eventos/dia), Uber, Airbnb, Walmart, PayPal e Spotify para processar volumes massivos de dados em tempo real.
Diferente de filas de mensageria tradicionais, o Kafka funciona como um log distribuído imutável: produtores publicam eventos em tópicos, consumidores leem na velocidade que conseguem, e os dados ficam armazenados por períodos configuráveis (dias, semanas ou indefinidamente). Isso permite reprocessamento, auditoria e múltiplos consumidores lendo os mesmos eventos.
Componentes principais
- Producer: Aplicação que publica eventos
- Consumer: Aplicação que lê eventos
- Broker: Servidor Kafka (clusters têm múltiplos brokers)
- Topic: Categoria lógica de mensagens
- Partition: Subdivisão do tópico para paralelismo
- Offset: Posição única de cada mensagem
Casos de uso comuns
Streaming em tempo real para analytics, integração de microsserviços, log aggregation, event sourcing, change data capture (CDC) e pipelines de dados. Sistemas com alta disponibilidade e processamento de Black Friday em e-commerce são casos típicos de uso do Kafka.
Leia o artigo completo: Apache Kafka: streaming de eventos em escala para sistemas distribuídos
