전체 글146 [자격증] Elastic Certified Engineer 합격 0. 개요회사에서 Elasticsearch를 사용해서 학습할 겸 자격증 준비를 했습니다. 1. 학습 방법 (4주)이전 회사에서 Alloy, Loki, Grafana를 사용해서 모니터링 시스템을 구축했었던 지라 Elasticsearch가 단순히 어떤 도구고 풀텍스트 서치에 강하다는 등 간단한 특징은 알고 있었습니다. 근데 쿼리를 짜본것도 아니고, 내부 로직을 공부해본 것도 아니어서 그냥 노베이스였다고 보시면 됩니다. 정말 딱 4주간(9.2~10/2) 주 5일 하루 4~5시간 정도씩 학습을 했고, 10/3일에 시험을 치뤘습니다. 2주간은 회사에서 제공하는 Elastic 강의를 들으며 개념들을 블로그에 정리했습니다. (무슨 강의를 들어도 상관없었을 것 같습니다)그 다음 2주간은 10차례의 기출들(24년~).. 2026. 10. 23. [Kafka] 7. Kafka Classic Rebalancing (Eager vs Cooperative) 0. 개요팀에서 카프카를 사용해서 공부하는 중이다.학습에는 '쉬운 코드' 유투브 채널과 카프카 공식 문서 참고했다. https://www.youtube.com/@ezcdhttps://kafka.apache.org/ Apache KafkaApache Kafkakafka.apache.org 1. Eager 방식에서 Rebalancing 되는 과정*Eager 리밸런싱 프로토콜: “기존 할당을 전부 반납한 뒤 새로 전체 할당”하는 방식 1) 새로운 Consumer가 합류 : 리밸런싱이 필요한 상황 발생(새로 합류한 컨슈머는 member.id가 아직 없는 상황) 2) 그룹 내 컨슈머의 리밸런싱 감지 및 참여(JoinGroup) 요청(리밸런싱 감지 시나리오는 여러가지다. 여기서는 heartbeat로 설명한다.)*C.. 2026. 9. 23. [Kafka] 6. Kafka Rebalancing이란? 0. 개요팀에서 카프카를 쓰길래 공부하는 중이다.학습에는 '쉬운 코드' 유투브 채널과 카프카 공식 문서 참고했다. https://www.youtube.com/@ezcdhttps://kafka.apache.org/ Apache KafkaApache Kafkakafka.apache.org 1. Rebalancing이란?: Consumer Group이 구독하는 topic들의 파티션들을 그룹 내의 consumer들에게 분배(재할당)하는 것을 의미한다. - 같은 group.id의 consumer들이 topic(s)을 subscribe()해야 자동 rebalancing의 이점을 누릴 수 있다. - rebalancing은 consumer group 단위로 이루어진다. Consumer는 언제 Rebalancing이 .. 2026. 9. 21. [Kafka] 5. Kafka Consumer란? 0. 개요팀에서 카프카를 쓰길래 공부하는 중이다.학습에는 '쉬운 코드' 유투브 채널과 카프카 공식 문서 참고했다. https://www.youtube.com/@ezcdhttps://kafka.apache.org/ Apache KafkaApache Kafkakafka.apache.org 1. Kafka Consumer란? : Kafka Topic에 저장된 Record를 Broker로부터 가져와 처리하는 클라이언트 Consumer Group: 같은 consumer group에 속하는 consumer들은 토픽의 Partition들을 나눠서 구독(subscribe)→ 처리량 향상- group에 consumer가 추가가되면, 새로 추가가된 consumer가 partition들을 나눠 가져가서 구독한다 = re.. 2026. 9. 18. [Kafka] 4. Kafka Leader Epoch란? (Leader Down으로 인한 데이터 정합성 문제 해결) 0. 개요팀에서 카프카를 쓰길래 공부하는 중이다.학습에는 '쉬운 코드' 유투브 채널과 카프카 공식 문서 참고했다. https://www.youtube.com/@ezcdhttps://kafka.apache.org/ Apache KafkaApache Kafkakafka.apache.org 1. Leader Down과 데이터 정합성 문제읽어올 값은 없지만, 두 데이터가 다름. → 정합성 깨짐.ISR에 복귀를 하고, FetchRequest와 FetchResponse를 해도 여전히 데이터 차이가 발생함. 2. 정합성 문제 해결 - HW 부터 그 이후 레코드는 버리자! (KP-101 이전 시대)[규칙]1. 레플리카가 재시작 됐거나 복구 됐을 때 해당 레플리카의 HW부터 이후 레코드들을 모두 삭제 (리더, 팔로워 .. 2026. 9. 18. [Kafka] 3. Kafka Replication (Commit과 High Watermark) 0. 개요팀에서 카프카를 쓰길래 공부하는 중이다.학습에는 '쉬운 코드' 유투브 채널과 카프카 공식 문서 참고했다. https://www.youtube.com/@ezcdhttps://kafka.apache.org/ Apache KafkaApache Kafkakafka.apache.org 우선, 카프카는 커밋 종류가 두 가지가 있다. 해당 글의 주제인 Replica와 관련 있는 커밋은 Broker-side Commit인데, 헷갈리지 않게 둘 다 알아보자. 1. Consumer Commit: Consumer가 consume하여 처리한 records의 마지막 offset에 1을 더한 값. 즉, 다음 차례의 offset을 커밋. = 커밋된 offset의 직전까지 consumer에서 처리 완료됐음을 의미. [커.. 2026. 9. 16. 이전 1 2 3 4 ··· 25 다음
