Kafka Connect: Setup ElasticSearch Sink Connector to transfer Kafka topic data to ElasticSearch in distributed mode

Elasticsearch is a distributed search and analytics engine which runs on Apache Lucene (The indexing and search library for high performance, full text search engine).
In previous posts we used Kafka Source Connectors (FileSourceConnector in standalone and Distributed mode & TwitterSourceConnector) - DataSource to KafkaTopic. In this post we will use ElasticSearchSink to transfer data from Kafka topic to ElasticSearch. 

Prerequisite:

Setup ElasticSearchSink connector
1. Start Docker.
2. Start Kafka Cluster and elastic search on docker(Landoop fast-data-dev) using docker-compose
➜  Kafka-connect docker-compose up kafka-cluster elsticsearch 
Creating network "code_default" with the default driver
Pulling kafka-cluster (landoop/fast-data-dev:cp3.3.0)...

3. ElasticSearch Connector config: Go to http://127.0.0.1:3030 and create ElasticSearch connector with following configurations.
name=sink-elastic-twitter-distributed
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
tasks.max=2
topics=kafka-connect-distributed-twitter
key.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=true
value.converter=org.apache.kafka.connect.json.JsonConverter
value.converter.schemas.enable=true
connection.url=http://elasticsearch:9200
type.name=kafka-connect
key.ignore=true

4. Topology:  Source twitter distributed connected to Sink elastic twitter distributed
5. Monitor topic kafka-connect-distributed-twitter and count message at http://127.0.0.1:9200/kafka-connect-distributed-twitter/_count


17 Comments

  1. I love this post.


    โปรโมชั่นGclub ของทางทีมงานตอนนี้แจกฟรีโบนัส 50%
    เพียงแค่คุณสมัคร Gclub กับทางทีมงานของเราเพียงเท่านั้น
    ร่วมมาเป็นส่วนหนึ่งกับเว็บไซต์คาสิโนออนไลน์ของเราได้เลยค่ะ
    สมัครสล็อตออนไลน์ >>> goldenslot
    สนใจร่วมลงทุนกับเรา สมัครเอเย่น Gclub คลิ๊กได้เลย

    ReplyDelete
  2. Very cool!

    เว็บไซต์คาสิโนออนไลน์ที่ได้คุณภาพอับดับ 1 ของประเทศ
    เป็นเว็บไซต์การพนันออนไลน์ที่มีคนมา สมัคร Gclub Royal1688
    และยังมีหวยให้คุณได้เล่น สมัครหวยออนไลน์ ได้เลย
    สมัครสมาชิกที่นี่ >>> Gclub Royal1688
    ร่วมลงทุนสมัครเอเย่นคาสิโนกับทีมงานของเราได้เลย

    ReplyDelete
  3. HI I AM A NEW USER OF THIS SITE SO HERE I SAW MULTIPLE ARTICLES AND POSTS POSTED BY THIS SITE, I CURIOUS MORE INTEREST IN SOME OF THEM HOPE YOU WILL GIVE MORE INFORMATION ON THIS TOPICS IN YOUR NEXT ARTICLES. THANK YOU FOR THIS....
    고스톱

    ReplyDelete
  4. YOUR BLOG PROVIDED US WITH VALUABLE INFORMATION TO WORK WITH. THANKS A LOT FOR SHARING.

    ReplyDelete
  5. Erik ten Hag ชนะเกมบอลถ้วยภายในประเทศ 6 เกมแรกในฐานะผู้จัดการทีม สโมสรทีมแมนฯยู ซึ่งเป็นสตรีคที่ยาวนานกว่าเกมอื่นๆ ในประวัติศาสตร์ของสโมสร โชเซ่ มูรินโญ่สร้างสถิติในการคว้าแชมป์ EFL Cup ของยูไนเต็ดในฤดูกาล 2016/17 โดยคว้าชัย 5 เกมติดต่อกัน (รวมถึง เอฟเอคัพชนะเร้ดดิ้ง) ก่อนจะแพ้ฮัลล์ซิตี้ในรอบรองชนะเลิศเลกสอง

    ReplyDelete
  6. ในขณะที่บางครัวเรือนเพิ่งคิดใหม่ว่าจะกันเงินไว้สำหรับการพนันกีฬามากน้อยเพียงใด ฝ่ายบริหารของ Healey เว็บเดิมพัน และพรรคเดโมแครตในบ้านและวุฒิสภามีกำหนดในวันอังคารเพื่อประเมินรายได้ภาษีที่พวกเขาสามารถคาดหวังอย่างระมัดระวังในการเก็บในปีงบประมาณที่เริ่มในวันที่ 1 กรกฎาคม

    ReplyDelete
  7. คุณต้องเป็นนักเดิมพันกีฬา NZ สักหน่อยที่จะไม่ชอบ Rabona เว็บไซต์การ พนันอีสปอร์ต เกือบจะสมบูรณ์แบบ – และเราพูดได้ว่าเกือบจะสมบูรณ์แบบเนื่องจากอยู่ในอันดับที่สองในรายการเว็บไซต์เดิมพันกีฬาที่ดีที่สุดในนิวซีแลนด์

    ReplyDelete
  8. หนังสือกีฬา Rabona แบ่งออกเป็นหลายส่วนที่สะดวกสำหรับแฟนพนันกีฬา NZ – หนังสือกีฬา เดิมพัน กีฬา การพนันสด การแข่งม้า และกีฬาเสมือนจริง นอกจากนี้ยังมีคาสิโน คาสิโนสด และการแข่งขันสล็อต หากคุณลงทะเบียนบัญชีเดิมพันกีฬาที่ Rabona คุณจะมีสิทธิ์ได้รับโบนัสกีฬา 100 เปอร์เซ็นต์สูงสุดไม่เกิน 200 ดอลลาร์ พร้อมแนบข้อกำหนดและเงื่อนไขที่เหมาะสม

    ReplyDelete
  9. BetMGM Sportsbook & Lounge ที่ MGM Springfield นำเสนอประสบการณ์การเล่นเกมที่ล้ำสมัย การเดิมพัน พื้นที่มีผนัง LED ขนาด 45 ฟุตและหน้าต่างเดิมพันสี่บาน ทำให้แขกสามารถเข้าถึงตัวเลือกการเดิมพันกีฬาที่หลากหลายได้ง่าย

    ReplyDelete
  10. Krafton ผู้เผยแพร่ PlayerUnknown’s Battlegrounds (PUBG) ได้ประกาศรายชื่อทีมแปดทีมสำหรับลีก อีสปอร์ต ระดับโลกในปี 2023 นี่เป็นลีกความร่วมมือครั้งที่สองที่ประกาศในปีที่ผ่านมา โดยเข้าร่วมกับภูมิทัศน์อีสปอร์ต Valorant ที่ปรับปรุงใหม่ของ Riot Game

    ReplyDelete
  11. ณ จุดนี้ เรอัล มาดริดมีกองหลังตัวกลางที่อายุมากแล้ว Nacho Fernandez อายุ 33 ปี ในขณะที่ David Alaba อายุ 30 ปี Rudiger ก็จะอายุครบ 30 ปีในเดือนหน้าเช่นกัน สโมสรทีมเรอัลมาดริด ดังนั้นคนอย่างเรแนนอาจเป็นการเสริมทัพระยะยาวที่น่าสนใจสำหรับโลส บลังโกส หากพวกเขาสนใจเขา

    ReplyDelete
  12. การเรียกเก็บเงินจะกำหนดอายุตามกฎหมายสำหรับการเดิมพันที่ 18 และทำให้กรมสุราและลอตเตอรีเป็นผู้ควบคุม ไม่ได้กล่าวถึงการ เดิมพัน กีฬา รายย่อย คล้ายกับที่ผู้ร่างกฎหมายในรัฐเทนเนสซีและไวโอมิงเคยผ่านร่างกฎหมายการพนันแบบดิจิทัลเท่านั้น

    ReplyDelete
  13. ความบังเอิญที่น่าทึ่งสำหรับ Ford เมื่อความพยายามที่สีแดงยาวไม่ลดลง แต่สีแดงก็ไหลลงมาที่กระเป๋าตรงกลางด้านขวา เปลี่ยนเป็นสีชมพูและแดงเมื่อฟอร์ดช่วงชิง 48 เคลียร์โดยเหลือ 43 ที่เป็นไปได้ หากไม่นับ สนุ๊กเกอร์ คงจะส่งท้ายแล้งไปเฉียด 6-3 ตามหลัง ไม่สวยแต่ใช้ได้ผลดีสำหรับฟอร์ด

    ReplyDelete
  14. อย่างไรก็ตาม อาจมีหนึ่งหรือสองสิ่งที่คุณสามารถทำได้จากคู่มือเคล็ดลับการเดิมพันสนุกเกอร์ของเรา กำลังมองหาเว็บไซต์ เดิมพันสนุ๊กเกอร์ ใหม่เพื่อเพิ่มในรายการของคุณ? จากนั้น TheSportsGeek สามารถช่วยคุณค้นหาได้

    ReplyDelete
  15. ขณะที่การ์เซียจะมาถึงเพื่อหนุนตำแหน่งแบ็คซ้าย รายงานระบุว่า ทีมฟุตบอลมาดริด ไม่มีความตั้งใจที่จะเซ็นสัญญาแบ็คขวาคนใหม่ในช่วงซัมเมอร์ แชมป์ลาลีกาเชื่อมั่นในตัวดานี่ คาร์บาฆัลและลูคัส วาซเกซ และพร้อมที่จะหนุนหลังดาวรุ่งอย่างวินิซิอุส โทเบียสและอเล็กซ์ ฆิเมเนซ

    ReplyDelete
  16. กฎหมายจะขอให้ผู้มีสิทธิเลือกตั้งตัดสินใจในการเลือกตั้งเดือนพฤศจิกายนว่าต้องการให้สิ่งที่พันธมิตรเรียกว่า พนัน กีฬา บนมือถือ หรือการพนันในเกมออนไลน์ถูกกฎหมายหรือไม่ โดยทั่วไปจะทำผ่านแอปพลิเคชันโทรศัพท์เช่น DraftKings

    ReplyDelete
Previous Post Next Post