처음 만드는 Kafka ClickPipe
이 가이드에서는 처음 만드는 Kafka ClickPipe를 만드는 과정을 단계별로 안내합니다.
Kafka ClickPipes는 ClickPipes UI를 사용해 수동으로 배포하고 관리할 수 있으며, OpenAPI 및 Terraform을 사용해 프로그래밍 방식으로도 배포하고 관리할 수 있습니다.
스키마 레지스트리 구성(선택 사항)
Avro 및 Protobuf topic에는 유효한 스키마가 필요합니다. 스키마 레지스트리 구성 방법에 대한 자세한 내용은 Schema registries를 참조하십시오.
Reverse Private Endpoint 구성(선택 사항)
AWS PrivateLink를 사용해 ClickPipes가 Kafka 클러스터에 연결할 수 있도록 Reverse Private Endpoint를 구성하십시오. 자세한 내용은 AWS PrivateLink documentation을 참조하십시오.
SSH 터널링 구성(선택 사항)
Kafka 브로커에 공개적으로 접근할 수 없는 경우 SSH 터널링을 사용할 수 있습니다. 직접 연결하는 대신 ClickPipes는 배스천 호스트(네트워크 내에 있으면서 공개적으로 접근 가능한 서버)에 SSH 연결을 설정한 다음, 이를 통해 프라이빗 네트워크의 Kafka 브로커로 트래픽을 전달합니다.
- "SSH Tunnel" 토글을 활성화하십시오.
- SSH 연결 정보를 입력하십시오:
- SSH Host: 배스천 호스트의 호스트명 또는 IP 주소입니다. 프라이빗 네트워크로 들어가는 게이트웨이 역할을 하는 공개 접근 가능 서버입니다.
- SSH Port: 배스천 호스트의 SSH 포트입니다(기본값
22). - SSH User: 배스천 호스트에서 인증에 사용할 사용자 이름입니다.
- 키 기반 인증을 사용하려면 "Revoke and regenerate key pair"를 클릭하여 새 키 쌍을 생성한 다음, 생성된 공개 키를 SSH 서버의
~/.ssh/authorized_keys에 복사하십시오. - "Verify Connection"을 클릭하여 연결을 확인하십시오.
ClickPipes가 SSH 터널을 설정할 수 있도록 SSH 배스천 호스트의 방화벽 규칙에서 ClickPipes IP addresses를 허용 목록에 추가하십시오.
대상 테이블 구성
다음 단계에서는 데이터를 새 ClickHouse 테이블로 수집할지, 기존 테이블을 재사용할지 선택할 수 있습니다. 화면의 안내에 따라 테이블 이름, 스키마, 설정을 수정하십시오. 상단의 샘플 테이블에서 변경 사항의 실시간 미리보기를 확인할 수 있습니다.
제공된 컨트롤을 사용해 고급 설정을 사용자 지정할 수도 있습니다.
권한 구성
ClickPipes는 대상 테이블에 데이터를 쓰기 위한 전용 사용자를 생성합니다. 이 내부 사용자에 대해 사용자 지정 역할 또는 사전 정의된 역할 중 하나를 선택할 수 있습니다:
Full access: 클러스터에 대한 전체 접근 권한입니다. 대상 테이블과 함께 materialized view 또는 딕셔너리(Dictionary)를 사용하는 경우 유용할 수 있습니다.Only destination table: 대상 테이블에 대한INSERT권한만 부여합니다.
