개요
Filebeat의 Output으로 Kafka로 이용 가능
Kafka의 호스트를 리스트 형태로 작성 가능한데, 서로 다른 호스트를 기재 가능한지와 Active-Standby 형태로 동작이 가능한지 확인
Config
output.kafka:
enabled: true
hosts: [ "a:9092", "b:9092" ]
YAML
복사
다음과 같이 서로 다른 호스트를 작성하는게 가능한지
두 호스트로 동시에 보내는 것이 아니라, a로만 보내다가 a의 Fail 발생 시 b로 보내는 식이 가능한지
** 공식 문서에는 이런 부분이 자세하게 나와 있지는 않음
결론
output.kafka.hosts는 동일한 클러스터의 호스트들을 나열하는 용도
순서대로 bootstrap에 이용하게 되는데, 응답이 없다면 다음 호스트 이용
** 애초에 같은 호스트를 입력하는 것이기에 Active-Standby는 구성할 수 없어보임
** 응답이 없으면 다음 호스트를 이용한다는 관점에서 할 수 있지 않을까 했지만, Bootstrap 자체가 Kafka Producer로써 클러스터의 메타데이터를 얻기 위한 설정이므로 output.kafka.hosts 에 나열된 호스트를 직접적으로 이용하는 형태는 아닌 것으로 판단
As cricket_007 explained, that host array should contain only nodes from the same kafka cluster because they are used to bootstrap your connection to the cluster. The boostraping basically works by providing the address of one, some or all nodes of your cluster so the kafka producer can receive the blueprint (metadata) describing the kafka cluster.
