JDBC connector 생성 시 No suitable driver found 에러 발생 1. 시작하며 Kafka Connect JDBC Connector 를 사용하여 sink connector를 생성하려고 하였으나 java.sql.SQLException: No suitable driver found 에러가 발생하였다. kafka docker image는 wurstmeister를 사용하였다. 2. 이슈 kafka JDBC connector 생성 불가: No suitable driver found Caused by: org.apache.kafka.connect.errors.ConnectException: java.sql.SQLException: No suitable driver found for jdbc..
Kafka 에서 Mysql 로 Sink Connector 구축하기 이미지출처 : confluent 1. 시작하며 Kafka connect로 Kafka Topic 저장된 레코드를 Mysql로 데이터 마이그레이션 하고자한다. 이 과정은 Confluent 사의 JDBC Sink Connector 통해 구축한다. Source Connector: MySQL -> kafka Connect(Source Connector, Debezium) -> Kafka Sink Connector : Kafka -> kafka Connect(JDBC Sink Connector) -> Mysql 2. docker-compose.yml 작성 Source Connector 를 만들었던 예제에서 sink용 Mysql 하나 더 추가하였다. ..
MySQL 에서 Kafka 로 Source Connector 구축하기 이미지출처 : confluent 1. 시작하며 Kafka connect는 카프카용 데이터 통합 프레임워크이다. 이 때 Kafka connect는 Kafka connector가 동작하도록 실행해주는 프로세스이다. Kafka connector에는 Source connector와 Sink connector가 있다. 간단히 말하면 Source Connector는 Producer의 역할, Sink connector는 Consumer 역할을 한다. Source Connector : 외부시스템 -> 커넥트 -> 카프카 Sink Connector : 카프카 -> 커넥트 -> 외부 시스템 Debezium은 카프카 커넥트(Kafka Connect) 기반..