목록Development/Kafka (2)

코딩 해파리

카프카의 '정확히 한 번' 의미 구조(Exactly-Once Semantics)

- 왜 '정확히 한 번'이 중요한가요?분산 메시징 시스템에서는 네트워크 장애나 애플리케이션 재시작으로 인해 데이터가 중복 처리될 위험이 항상 존재합니다. 예를 들어, 결제 시스템에서 중복 처리된 메시지는 사용자에게 이중 과금을 유발할 수 있습니다. '정확히 한 번' 보장은 이러한 문제를 원천적으로 방지하여 데이터 정합성을 유지하는 핵심 기술입니다.1️⃣ 멱등적 프로듀서 (Idempotent Producer)멱등적 프로듀서는 프로듀서의 재시도 과정에서 발생할 수 있는 메시지 중복을 방지하는 기능입니다.멱등성(Idempotence)이란?동일한 연산을 여러 번 수행하더라도, 단 한 번 수행한 것과 동일한 결과를 내는 특성을 의미합니다.멱등성이 아닌 연산: UPDATE count = count + 1 (호출할 ..
Development/Kafka 2025. 8. 15. 10:13
카프카를 왜 써야하는가! + 기본 개념!

디테일하게 더 알고싶다는... 욕심으로...카프카 핵심 가이드라는 책을 읽고 공부하며 정리하기 위해 이 카테고리를 만들었습니다..!그럼 시작하겠습니다!데이터 중심 시대, 왜 카프카(Kafka) 인가?📌 본질은 결국 데이터다기업은 끊임없이 데이터를 수집하고, 분석하고, 이를 기반으로 가치를 창출합니다.이 과정에서 중요한 데이터를 필요한 곳에 빠르게 전달하는 능력이 필수적입니다."과학자들이 의견 차이가 생기는 이유는 오직 데이터가 부족하기 때문이다. 충분한 데이터를 얻으면 문제는 해결된다." — 닐 디그래스 타이슨그래서 우리는 데이터를 빠르고 안정적으로 전달하는 기술, 즉 데이터 파이프라인을 구축하고자 합니다.📌 발행/구독 (Pub/Sub) 메시지 전달 방식이란?Pub/Sub 패턴이란?메시지를 보내는 쪽..
Development/Kafka 2025. 7. 7. 00:15
이전 Prev 1 Next 다음