소소한 개발로그 소소한 개발로그

4-1. Apache Kafka Connecting System 간 메시지 전송할 때 잘 만들어진 Kafka Connector 사용 Kafka Connect란> Apache Kafka 안팎으로 데이터를 스트리밍하기 위한 Framework Connector: Task를 관리하여 데이터 스트리밍을 조정하는 Plugin(jar), Java Class/InstanceTasks: Kafka와 다른 시스템간의 데이터를 전송하는 방법의 구현체(Java Class/Instance)Workers: Connector 및 Task를 실행하는 실행 중인 프로세스(Process)> Worker 프로세스가 Connect, Task 관리Converter: Connect와 데이터를 보내거나 받는 시스템 간에 데이터를 변환하는데 사용..

3-1. Apache Kafka and Confluent Reference Architecture Confluent에서 제공하는 Confluent Platform Reference Architecture참조 아키텍처 및 환경 별 참조 HW 사양 Large Cluster Reference Architecture Small Cluster Reference Architecture> Zookeeper와 Broker를 같이 구성 Large Cluster용 HW 권장 사양> Connect 올라가면 CPU 사용량은 올라감. 여기서는 구축 시 권장 사양일 뿐. Small Cluster용 HW 권장 사양 Public Cloud Deployment(AWS, MS Azure, Google Cloud Platform) 사용 ..

2-6. Cooperative Sticky Asignor 시간 흐름에 따른 Consumer Rebalance 과정 Eager Rebalance 프로토콜: 최대한 단순하게 유지하기 위해 만들어짐 Incremental Cooperative Rebalancing Protocol: Eager Rebalancing 프로토콜 보다 발전한 방식> Revoke할 파티션만 Revoke 처리하고 새로 할당할 것만 해주기> 이상적인 Consumer Rebalancing 프로토콜> Rebalancing을 두 번 수행> 1st rebalance에서 Consumer는 자신의 파티션 중 어느 것이 다른 곳으로 재할당되어야 하는지 알게 됨> Apache Kafka 2.5에서 추가됨> 빈번하게 리밸런싱되거나 스케일 인/아웃으로 인한 ..

2-1. Producer Acks, Batch, Page Cahche, Flush 프로듀서는 Kafka가 메시지를 잘 받았는지 어떻게 알 수 있는가?acks: 요청이 성공하는 때를 정의하는 데 사용되는 producer에 설정하는 parameter acks=0> ack가 필요하지 않음. 메시지 손실이 있더라도 빠르게 메시지를 보내야하는 경우 사용됨> 응답 없음 acks=1 (default값)> leader가 메시지를 받으면 producer에게 ack를 보냄> ack를 보내고 follower가 복제 전에 leader에 장애 발생 시, 메시지 손실됨> At most once 최대 한 번 전송 보장 acks=-1 / acks=all> leader가 모든 replica까지 Commit되면 ack 보냄> 메시지 손..

패스트캠퍼스에서 인강을 들으면서 공부한 Apache Kafka의 개념을 줄줄줄 써보려고 한다. 읽기 편하게 정리하면 좋겠지만 우선은 보면서 적은 메모를 붙여 넣고, 이후에 틈틈히 재정리할 예정이다. Apache KafkaEvent Streaming Platform 이벤트 스트림을 전송이벤트 스트림을 디스크에 저장이벤트 스트림을 분석 및 처리 Topic: kafka 안에서 메시지가 저장되는 장소. 논리적인 표현.Partition: Commit Log, 하나의 토픽은 하나 이상의 파티션으로 구성. 병렬처리를 위해 다수의 파티션 사용(Troughput 향상) 서로 독립적.Segment: 메시지(데이터)가 저장되는 실제 물리 File.Topic 생성 시 Partition 개수 지정, 각 Partition은 브로..

풀스택 개발자로 일하던 작년 겨울, 속도 개선을 위한 SQL 튜닝을 하다가 답답한 마음에 공부를 해야겠다 생각을 했고, SQLP 자격증을 알게 되어 공부할 겸 결과를 남기자는 생각으로 자격증에 도전하게 되었다. 많은 합격 수기를 찾아보았는데 대부분 데이터와 사람들이란 카페에서 현장 강의를 통해 기본기를 다지고 시작하여 딴 케이스가 많았고 자연스레 데이터와 사람들 카페에 가입했다.  데이터와사람들 : 네이버 카페데이터베이스 교육 및 스터디를 위한 커뮤니티입니다.cafe.naver.com DBA, DA 실무 경력이 다양한 강사님의 강의가 매년 이어져오고 있었고 실제 해당 강의를 듣고 SQLP와 DAP 자격증을 취득한 사람들이 많았기에 믿음이 갔다. SQL 실무자이지만 학부 때 전공으로 들은 DB 과목 지식과..

오라클은 오라클 서버의 각종 옵션 설정을 하는 파라미터 파일을 가지고 있다. 이 파라미터 파일은 오라클의 Instance가 기동 되는 시점에 읽어지는데, 이전 글에서 본 Nomount 단계에서 읽게 된다. 파라미터 중에는 변경 시, DB가 온라인 상태일 때 즉시 반영되는 것과 DBMS를 재 기동하여 반영하는 것으로 변경 가능하다. 보통 메모리 관련 파라미터는 재 기동하여 반영하는 것을 권장하게 된다. 반영 범위에 따라 alter문에 scope 옵션을 주어 변경할 수 있는데 both는 즉시 반영, spfile은 재 기동 시 반영이다.alter system set {파라미터}='변경 값' scope=both; #즉시 반영alter system set {파라미터}='변경 값' scope=spfile; #DBM..

Oracle 구동은 총 3단계로 이루어져 있으며 그 단계에 대해 하나씩 알아가보자. 1) No Mount - 파라미터 파일을 읽어 SGA 및 Background Process 가동 - sqlplus에서 다음과 같이 구동 startup nomount; 2) Mount - Control files을 읽어 Open 대상 파일 위치 인지 - Data files와 Redo Log files의 이름 및 경로 읽은 상태 - sqlplus에서 다음과 같이 구동 startup mount; - 위와 같이 한번에 mount 하거나, 다음과 같이 nomount 단계에서 alter로 변경 가능 startup nomount; alter database mount; 3) Open - 데이터베이스를 연 상태 - 유효한 사용자들이 정..