기타19 Kafka Consumer Consumer카프카에서 데이터를 읽는 애플리케이션을 토픽을 구독(subscribe)하고 구독한 토픽들로부터 메시지를 받기 위해 KafkaConsumer를 사용한다. 카프카에서 데이터를 읽는 것은 다른 메시지 브로커들과 조금 달라 이러한 개념들을 먼저 이해하지 않다면 컨슈머 API 사용법을 이해하는 것은 어려울 수 있다. 따라서 이러한 개념을 먼저 살펴보자. KafkaConsumer 생성public class SimpleConsumer { public static void main(String[] args) { String topicName = "simple-topic"; Properties props = new Properties(); props.setProp.. 2024. 12. 3. Kafka Producer Prodcuer애플리케이션이 카프카에 메시지를 써야 하는 상황에는 여러 가지가 있을 수 있다. 감사 혹은 분석을 목적으로 한 사용자 행동 기록, 성능 메트릭 기록, 로그 메시지 저장, 스마트 가전에서의 정보 수집, 다른 애플리케이션과의 비동기적(asynchronous) 통신 수행, 임의의 정보를 데이터베이스에 저장하기 전 버퍼링 등이 있다.이러한 사용 사례들은 목적이 다양한 만큼 요구 조건 역시 다양하다. 신용카드 트랜잭션 처리하는 경우에는 어떠한 메시지 유실이나 중복도 허용되지 않으면서 지연 시간은 낮고, 처리율은 매우 높아야 한다. 반대로 웹사이트에서 생성되는 클릭 정보를 저장하는 경우에는 조금 유실되거나 중복이 허용될 수 있고, 사용자가 서비스를 이용하는데 문제만 없다면 메시지가 카프카에 도달하는데.. 2024. 11. 24. Kafka 핵심 개념 Kafka모든 애플리케이션은 의미가 있는 데이터를 만들고, 그 다음 처리되어야 하는 작업과 같이 뭔가 중요한 정보를 담고 있다. 따라서 해당 데이터에 알기 위해서는 데이터를 생성된 곳에서 분석할 수 있는 곳으로 옮겨야 하는 만큼 파이프라인(pipeline)이 중요한 핵심적인 요소가 된다고 할 수 있다. 실제 링크드인에서 하루 4.5조 개 이상의 이벤트 스트림을 처리하고 있기 때문에 기존의 Messaging Platform(ex: MQ)로는 처리가 불가능하여 데이터(이벤트) 스트림 처리를 위해 카프카(Kafka)가 개발되었다. Kafka vs RabbitMQKafka와 RabbitMQ 둘 다 메시지 전송 플랫폼을 제공하지만 위 그래프에서도 볼 수 있듯이 카프카가 초당 600MB로 처리량이 훨씬 높은 것을 .. 2024. 11. 13. 사가(Saga) vs 2단계 커밋(2-phase commit, 2PC) 분산 환경에서의 트랜잭션모놀리식 아키텍처(Monolithic Architecture)의 일관성을 보장하기 위해 관계형 데이터베이스를 공유하는 것이 보통이다. 하나의 DB 트랜잭션으로 처리하는 경우에는 개발자가 ACID(원자성(Atomicity), 일관성(Consistency), 격리성(Isolation), 지속성(Durability))을 보장하는 작업이 매우 단순해진다. 마이크로서비스 아키텍처도 마찬가지로 단일 서비스 내부의 트랜잭션은 ACID를 보장하지만, 여러 서비스의 데이터를 업데이트하는 트랜잭션을 구현 시 각 서비스마다 데이터베이스를 가지고 있기 때문에 데이터 일관성을 보장하기 까다로워진다. 분산 시스템 환경에서 트랜잭션과 데이터 일관성을 다루는 방법에 대해 알아보자. 2PC하나의 트랜잭션으로 데.. 2024. 11. 11. MSA(MicroService Architecture)를 시작하기 위해 알아야 할 사전 지식! MSA(MicroService Architecture)기존 시스템들이 하나의 거대한 형태로 구축되어서 서비스되었다고 하면 마이크로 서비스라는 것은 전체 서비스를 구축하고 있는 개별적인 모듈이나 기능을 독립적으로 개발하고 운영할 수 있도록 세분화된 서비스라고 볼 수 있다. 일반적으로 사용하는 모놀리식 아키텍처와 MSA를 비교하고, MSA를 사용하는 이유에 대해 알아보자. 모놀리식 아키텍처(Monolithic Architecture)모놀리식 아키텍처는 모든 종류의 서비스가 하나의 애플리케이션으로 구성되어 있는 아키텍처를 의미하고 다음과 같은 특징이 있다.하나의 주요 프로세스로 구성모든 서비스가 하나의 DB 엔드포인트를 사용단 한줄만 코드 수정하더라도 모든 서비스 애플리케이션의 재배포가 따름싱글 혹은 멀티 모.. 2024. 10. 22. Docker DockerDocker는 오픈소스 컨테이너화된 플랫폼으로 개발자는 어떤 환경에서도 해당 코드를 실행하는 데 필요한 애플리케이션 소스 코드와 운영 체제(OS) 라이브러리 및 종속성을 결합한 앱을 컨테이너로 패키지화할 수 있다. 즉, 어플리케이션을 개발하면서 여러 언어버전, 환경변수, 프레임워크 및 도구 간의 복잡한 인터페이스는 엄청난 복잡도를 해결하기 위해 Docker가 나오게 되었다. 예를 들어, 개발자가 로컬에서 어플리케이션을 개발하여 서버에 배포할 때, 로컬에서 잘 작동했는데 서버 환경에서는 잘 작동하지 않는 문제와 같은 문제를 Docker가 해결해줄 수 있다. Docker를 사용하는 이유가상화 환경 vs 컨테이너 환경처음 가상머신을 사용하는 이유 중 하나로는 언뜻 보기에 모순되어 보이는 조건인 격리.. 2024. 7. 31. Java로 RabbitMQ 시작하기 RabbitMQRabbitMQ는 메시지 브로커(Message Broker)로서 매우 단순한 애플리케이션부터 대규모 시스템까지 다양한 분산 소프트웨어 아키텍처를 만들기 위한 매우 강력하고 가벼운 도구이다. RabbitMQ는 관리자 UI 플러그인과 함꼐 코어 어플리케이션을 구동하는데 40MB 미만의 메모리만 사용하여 가볍고, 이후 큐(Queue)에 전송되는 메시지양이 증가함에 따라 메모리 사용량이 점차 증가한다. 또한, 메시지를 배달하기 전에 디스크 또는 메모리에 저장하거나 클러스터를 설정할 때 큐를 HA(Highly Available)로 설정해서 여러 노드에 걸쳐 저장하도록 옵션을 설정하여 메시지 처리량 혹은 성능을 유연하게 제어하고 안정적으로 메시지를 전달할 수 있다. RabbitMQ 등장 배경 웹 사이.. 2024. 5. 23. Reverse Proxy & Load Balancing Reverse Proxy Nginx의 Reverse Proxy는 클라이언트 요청을 다른 서버로 전달하고 해당 서버로부터 받은 응답을 클라이언트에게 반환하는 역할을 하는 중간 서버이다. 이를 통해 Nginx는 여러 가용성 및 보안 기능을 제공하고, 웹 서버나 애플리케이션 서버의 부하 분산을 수행할 수 있다. Reverse Rroxy 서버의 장점은 다음과 같다. 단일 진입점: Reverse Proxy는 여러 도메인 및 경로에 대한 단일 진입점을 제공하여 여러 애플리케이션 서버로 들어오는 클라이언트 요청을 분산하는 로드 밸런싱 기능을 수행할 수 있다. 이를 통해 트래픽을 고르게 분산하고 서버 부하를 분산시키고, 무중단 배포도 지원할 수 있다. 보안 강화: 애플리케이션 서버를 직접 노출하지 않고 Reverse .. 2023. 10. 1. Nginx Performance Headers & Expires HTTP 헤더는 클라이언트와 서버 간에 전송되는 메타 정보를 포함하는 텍스트 데이터이다. Nginx를 사용하면 헤더를 수정하고 조작하여 웹 페이지의 동작을 제어할 수 있다. add_header 지시문을 통해 HTTP 헤더에 보안 헤더를 추가하거나 커스텀 헤더를 생성해서 추가할 수 있다. 위를 보면 /style.css 경로로 요청하면 커스텀 헤더를 생성해 추가한 것을 확인할 수 있다. 정적 파일 요청 add_header Cache-Control public: Cache-Control HTTP 헤더를 설정하여 므라우저 및 캐시 서버에 리소스를 공개 캐시로 저장할 것을 지시한다. 이렇게 설정하면 클라이언트 및 중간 프록시 서버에서 캐시로 저장하고 재사용할 수 있다. add_he.. 2023. 9. 30. 이전 1 2 3 다음
