[Kafka] 카프카 Burrow 설치 (카프카 모니터링) 1. Go 설치 Burrow를 설치하기 위해서는 Go를 설치해야 합니다. 링크를 참조해주세요. [Linux] 리눅스 구글 Go 언어 설치 (Go Programming Language) 2. git 설치 OS에 맞게 yum이나 apt를 이용하여 git을 설치합니다. [RedHat, CentOS] # yum install git # git --version git version 1.8.3.1 [Ubuntu] # apt install git # git --version git version 1.8.3.1 3. git clone git 소스를 받습니다. https://github.com/linkedin/Burrow # git clone https://github.com/linkedin/Burrow.git Clo.. Backend/Kafka 3년 전
[Kafka] 기본 카프카 명령어 (command-line tool) 0. 환경 CentOS7 JDK 11(Java 11) Apache Kafka 3.0.0 1. kafka-topics.sh Topic과 관련된 명령을 실행할 수 있는 쉘 스크립트 파일입니다. Topic이란 RDBMS에서 사용하는 테이블과 비슷하다고 볼 수 있습니다. 토픽 생성 --create 옵션을 사용하여 Topic을 생성합니다. --bootstrap-server는 토픽을 생성할 카프카 클러스터를 구성하는 브로커들의 IP와 port를 작성합니다. --replication-factor는 Topic의 파티션을 복제할 복제 개수를 작성합니다.(2이면 1개의 복제본을 사용한다는 의미) --partitions는 파티션의 개수를 지정합니다. --config는 추가적인 설정을 할 수 있습니다.(retention.ms.. Backend/Kafka 3년 전
[Kafka] Linux Kafka 설치 (Apache Kafka 3.0.0) 1. 카프카란? LinkedIn이 개발한 시스템 Apache Kafka는 실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산 데이터 스트리밍 플랫폼입니다. 분산형 게시-구독 메시징 플랫폼 서버 클러스터 내에서 데이터 스트림을 레코드로 유지하는 방식으로 작동하는 브로커 기반 솔루션 서로 다른 구성 요소 간의 안정적인 데이터 교환 데이터 처리를 위한 실시간 스트리밍 필요한 모든 곳에서 대규모 데이터를 동시에 이동할 수 있습니다. 2. 카프카를 왜 쓰나요? [카프카 사용 이전] end-to-end 연결 방식의 아키텍처의 문제로는 시스템이 작을 때는 문제가 없을 수 있으나 커질수록 연동이 복잡해지고 결합도가 매우 크다 보니까 시스템을 확장하고 싶을 경우 엄청난 노력이 필요하게 됩니다. [카프카.. Backend/Kafka 3년 전
