Kafka

Kafka Dockerで$KAFKA_HOMEと$ZKの値を設定する

Kafka Dockerを使ってKafkaの実行環境を作っていたが、コンテナに接続してtopic一覧を表示しようとした際に、チュートリアルにある環境変数 $KAFKA_HOME と $ZK がどこで設定できるのかわからず詰まってしまった。 $KAFKA_HOME/bin/kafka-topics.sh --descri…

【Kafka】--bootstrap-serverと--zookeeperの違い

Kafkaのコマンドを扱っていると、コマンドの種類によって --bootstrap-server を指定する場合と --zookeeper を使う場合とがあって少し混乱する。どう違うのかを調べてみた。 bootstrap-serverとは bootstrap-serverとして指定するのは、他でもないKafkaのbr…

Kafkaのメッセージング方式の特長を学び直した

自社サービスでKafkaを使っており、自分でも少し触ったことがあるのだが、Kafkaというのがメッセージングにおいてどんな特長を持ったサービスなのかについては、topicを介してproducerとconsumerがメッセージをやり取りする、という程度の理解しかなかった。…

KafkaをDockerの外から叩けないときに確認すべき設定

Dockerで立ち上げたKafkaを、ホスト環境でビルドしたJavaアプリケーションから叩こうとしたのだが、なぜかエラーになって叩けず。 java.lang.IllegalStateException: No entry found for connection 21729123512 よく調べてみると、advertised_listenerの設…

Docker環境下でKafka Connectを気軽に試す

前回の記事では、Docker Imageを使ってKafkaを立ち上げた。今回は、Kafkaを使うならほぼ確実にお世話になるKafka Connectを試したい。 Kafka Connectとは 前回の記事では、コンソールからコマンドを叩いてTopicに直接メッセージを出し入れしていた。しかし、…

Docker環境でKafkaに気軽に入門する

Kafkaを扱うことになり、なんとかして手軽に触ってみることはできないかと思っていたら、このDocker imageをおすすめされた。 https://hub.docker.com/r/landoop/fast-data-dev KafkaのDocker imageはいろいろあるが、これは必要なサーバが自動で立ち上がる…