Apache Kafka je distribuovaný streamovací platforma, která umožňuje publikování, ukládání, zpracování a předávání proudů dat v reálném čase. Pro podniky, které provozují více Kafka clusterů ve více datových centrech nebo cloudových prostředích, je důležité zajistit, aby data byla dostupná napříč všemi clustery pro zajištění vysoké dostupnosti a odolnosti proti selhání. Zde vstupuje do hry MirrorMaker, nástroj zahrnutý v Apache Kafka, určený pro replikaci dat mezi Kafka clustery.
Konfigurace MirrorMaker
1. Konfigurace zdrojového clusteru (Source Cluster) Prvním krokem je konfigurace zdrojového clusteru. Toto zahrnuje nastavení producer a consumer propojení k zdrojovému clusteru. Konfigurace consumerů je klíčová pro čtení dat ze zdrojového clusteru, zatímco konfigurace producerů řídí, jak budou data zapisována do cílového clusteru.
-
Consumer konfigurace:
bootstrap.servers: Seznam brokerů ve zdrojovém clusteru.group.id: Identifikátor skupiny consumerů, která bude číst data.client.id: Volitelný identifikátor pro tracking v logu.auto.offset.reset: Určuje, jaký offset použít, pokud žádný není nalezen (nejčastěji earliest nebo latest).
-
Producer konfigurace:
bootstrap.servers: Seznam brokerů v cílovém clusteru.acks: Určuje, kolik potvrzení je potřeba od brokerů před úspěšným zápisem (např. all pro nejvyšší spolehlivost).batch.size: Velikost dávky pro zápis, optimalizuje latenci a propustnost.
2. Spuštění MirrorMaker MirrorMaker se spouští jako samostatný proces. Pro spuštění MirrorMaker použijte následující příkaz, kde consumer.config a producer.config jsou soubory obsahující výše uvedené konfigurace:
bin/kafka-mirror-maker.sh --consumer.config consumer.properties --producer.config producer.properties --whitelist=".*"
--whitelist: Regex filtr pro specifikaci topiců, které mají být replikovány. ".*" znamená replikaci všech topiců.
Pokročilé nastavení
3. Filtrace a transformace MirrorMaker umožňuje filtrace a transformace zpráv před jejich replikací. To je užitečné pro odstranění citlivých dat nebo pro aplikaci specifických transformací na zprávy.
4. Replikace cross-cluster Pro efektivní cross-cluster replikaci je doporučeno používat MirrorMaker 2 (MM2), který přináší vylepšení v oblasti automatizace, snadnější konfigurace a lepší integrace s Kafka ekosystémem.
5. Zabezpečení Zabezpečení komunikace mezi clustery je nezbytné. Konfigurujte TLS/SSL pro šifrování přenosu a SASL pro autentizaci, aby byla data chráněna během přenosu.
Replikace dat mezi Kafka clustery pomocí MirrorMaker je zásadní pro zajištění vysoké dostupnosti a odolnosti proti selhání. Správná konfigurace a používání MirrorMaker může výrazně zlepšit spolehlivost a efektivitu streamování dat ve vaší organizaci. Pamatujte, že pro složitější replikační scénáře a vyšší úroveň automatizace je doporučené používat MirrorMaker 2.
