Kafka 에서 Mysql 로 Sink Connector 구축하기 이미지출처 : confluent 1. 시작하며 Kafka connect로 Kafka Topic 저장된 레코드를 Mysql로 데이터 마이그레이션 하고자한다. 이 과정은 Confluent 사의 JDBC Sink Connector 통해 구축한다. Source Connector: MySQL -> kafka Connect(Source Connector, Debezium) -> Kafka Sink Connector : Kafka -> kafka Connect(JDBC Sink Connector) -> Mysql 2. docker-compose.yml 작성 Source Connector 를 만들었던 예제에서 sink용 Mysql 하나 더 추가하였다. ..
MySQL 에서 Kafka 로 Source Connector 구축하기 이미지출처 : confluent 1. 시작하며 Kafka connect는 카프카용 데이터 통합 프레임워크이다. 이 때 Kafka connect는 Kafka connector가 동작하도록 실행해주는 프로세스이다. Kafka connector에는 Source connector와 Sink connector가 있다. 간단히 말하면 Source Connector는 Producer의 역할, Sink connector는 Consumer 역할을 한다. Source Connector : 외부시스템 -> 커넥트 -> 카프카 Sink Connector : 카프카 -> 커넥트 -> 외부 시스템 Debezium은 카프카 커넥트(Kafka Connect) 기반..
Docker로 MySQL 설치하기 1. 시작하며 로컬환경에서 docker-compose.xml 을 작성하여 MySQL 8 을 설치하고 user 계정을 생성해보자. docker 에서 image pull 을 하여 설치할 수도 있지만 docker-compose 를 쓰면 훨씬 편하게 설치할 수 있다. 참고로 docker로 mariaDB 설치 방법 은 링크를 확인하면 된다. 2. docker-compose.yml 작성 version: '3' services: mysql: image: mysql:8.0 container_name: mysql ports: - 3306:3306 # HOST:CONTAINER environment: MYSQL_ROOT_PASSWORD: admin command: - --character..
Docker 로 Kafka 를 local 에 세팅하자 1. docker-compose.yml 작성 version: '2' services: zookeeper: container_name: zookeeper image: wurstmeister/zookeeper ports: - "2181:2181" kafka: container_name: kafka image: wurstmeister/kafka depends_on: - zookeeper ports: - "9092:9092" environment: KAFKA_ADVERTISED_HOST_NAME: 127.0.0.1 KAFKA_ADVERTISED_PORT: 9092 KAFKA_CREATE_TOPICS: "test-topic:1:1" KAFKA_ZOOKEEPER..
Docker 컨테이너 bin/bash에 vim 설치 Install Vim on Docker Container docker 컨테이너에서 vi 로 파일를 수정하려고 했으나 vi가 동작 하지 않고 아래와 같은 애러가 발생하였다. /bin/sh: 38: vi: not found 아래 명령어를 순서대로 실행하여 vim, nano 를 설치하자. apt-get update apt-get install vim nano 이제 vi 로 파일 수정이 가능하다. 참고 https://stackoverflow.com/questions/30853247/how-do-i-edit-a-file-after-i-shell-to-a-docker-container https://www.configserverfirewall.com/docker/..
Docker 로 MariaDB 설치하기 1. Docker image 로 MariaDB 설치하기 Docker image 내려받기 docker pull mariadb 이미지를 내려 받은 후 아래 명령어로 확인 가능하다. docker images MariaDB container 생성 docker run -p 3306:3306 --name my-mariadb -e MARIADB_ROOT_PASSWORD=admin -d mariadb -- name : my-mariadb 라는 컨테이너 이름을 부여한다. -p 3306:3306 : host port number:container port number -e : -e는 환경 변수 옵션이다. -e MARIADB_ROOT_PASSWORD=admin : 비밀번호를 지정 -d..