Pag-set up ng Kafka: 4 na Hakbang

2024 May -akda: John Day | [email protected]. Huling binago: 2024-01-30 13:13

Panimula:

Ang Apache Kafka ay isang bukas na mapagkukunan na nasusukat at high-throughput na pagmemensahe ng system na binuo ng Apache Software Foundation na nakasulat sa Scala. Ang Apache Kafka ay espesyal na idinisenyo upang payagan ang isang solong kumpol na magsilbing gitnang gulugod ng data para sa isang malaking kapaligiran. Ito ay may isang mas mataas na throughput kumpara sa iba pang mga sistema ng mga broker ng mensahe tulad ng ActiveMQ at RabbitMQ. Ito ay may kakayahang pangasiwaan ang malalaking dami ng real-time na data nang mahusay. Maaari mong i-deploy ang Kafka sa solong Apache server o sa isang ipinamamahagi na clustered na kapaligiran.

Mga Tampok:

Ang mga pangkalahatang tampok ng Kafka ay ang mga sumusunod:

Ipagpatuloy ang mensahe sa disk na nagbibigay ng patuloy na pagganap ng oras.

Mataas na throughput na may mga istraktura ng disk na sumusuporta sa daan-daang libu-libong mga mensahe bawat segundo.

Madaling ipinamamahagi ang mga antas ng system na walang downtime.

Sinusuportahan ang mga multi-subscriber at awtomatikong balanse ang mga consumer sa panahon ng pagkabigo.

Ipinapakita ng tutorial na ito kung paano i-install at i-configure ang Apache Kafka sa isang Ubuntu 16.04 server.

Mga Kinakailangan

Isang server ng Ubuntu 16.04.

Non-root na account ng gumagamit na may pribilehiyo ng sobrang gumagamit na naka-set up sa iyong server.

Hakbang 1: Pagsisimula at Pag-install ng Java

1) Simulan nating tiyakin na ang iyong Ubuntu 16.04 server ay ganap na napapanahon

Maaari mong i-update ang iyong server sa pamamagitan ng pagpapatakbo ng mga sumusunod na utos: -

sudo apt-get update -y

sudo apt-get upgrade -y

2) Pag-install ng Java

Suriin kung ang iyong makina ay mayroong java na naka-install o mayroong isang default na bersyon ng java sa pamamagitan ng sumusunod na utos: -

java -version

Kahit na mayroon kang java ngunit isang mas mababang bersyon, kakailanganin mong i-upgrade ito.

Maaari mong i-install ang Java sa pamamagitan ng: -

sudo apt-get install default-jdk

O kaya

Maaari mong mai-install ang Oracle JDK 8 gamit ang Webupd8 team PPA repository.

Upang idagdag ang imbakan, patakbuhin ang sumusunod na utos: -

sudo add-apt-repository -y ppa: webupd8team / java

sudo apt-get install oracle-java8-installer -y

Hakbang 2: I-install ang Zookeeper

Ano ang Zookeeper?

Ang Zookeeper ay isang sentralisadong serbisyo para sa pagpapanatili ng impormasyon ng pagsasaayos, pagbibigay ng pangalan, pagbibigay ng ibinahaging pagsabay, at pagbibigay ng mga serbisyo sa pangkat. Ang lahat ng mga ganitong uri ng serbisyo ay ginagamit sa ilang anyo o iba pa sa pamamagitan ng mga ipinamamahaging aplikasyon. Sa tuwing ipinatutupad ang mga ito maraming trabaho na napupunta sa pag-aayos ng mga bug at kundisyon ng lahi na hindi maiiwasan. Dahil sa kahirapan ng pagpapatupad ng mga ganitong uri ng mga serbisyo, ang mga aplikasyon sa una ay karaniwang nagtipid sa kanila, na ginagawang masigla sa pagkakaroon ng pagbabago at mahirap pamahalaan. Kahit na tapos nang tama, ang iba't ibang mga pagpapatupad ng mga serbisyong ito ay humantong sa pagiging kumplikado ng pamamahala kapag ang mga aplikasyon ay na-deploy.

Bago i-install ang Apache Kafka, kakailanganin mong magkaroon ng magagamit at tumatakbo na zookeeper. Ang ZooKeeper ay isang bukas na serbisyo ng mapagkukunan para sa pagpapanatili ng impormasyon ng pagsasaayos, na nagbibigay ng ibinahaging pagsabay, pagbibigay ng pangalan at pagbibigay ng mga serbisyo sa pangkat.

1) Bilang default na Zookeeper package ay magagamit sa default na imbakan ng Ubuntu

Maaari mo itong mai-install sa pamamagitan ng pagpapatakbo ng sumusunod na utos: -

sudo apt-get install zookeeperd

Kapag natapos ang pag-install, sisimulan ito bilang isang daemon nang awtomatiko. Bilang default ang Zookeeper ay tatakbo sa port 2181.

Maaari mong subukan ito sa pamamagitan ng pagpapatakbo ng sumusunod na utos:

netstat -ant | grep: 2181

Dapat ipakita sa iyo ng out put na ang port 2181 ay nakikinig.

Hakbang 3: I-install at Simulan ang Kafka Server

Ngayon na naka-install ang Java at ZooKeeper, oras na upang mag-download at kumuha ng Kafka mula sa Apache website.

1) Maaari kang gumamit ng curl o wget upang i-download ang Kafka: (Kafka bersyon 0.10.1.1)

Patakbuhin ang sumusunod na utos upang i-download ang kafka setup: -

curl -O

O kaya

wget

2) Lumikha ng isang direktoryo para sa Kafka

Susunod, lumikha ng isang direktoryo para sa pag-install ng Kafka:

sudo mkdir / opt / kafka

cd / opt / kafka

3) I-unzip ang na-download na folder

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C / opt / kafka /

* Baguhin ang pangalan ng gumagamit alinsunod sa iyong username

4) Simulan ang kafka server

Ang susunod na hakbang ay upang simulan ang Kafka server, maaari mo itong simulan sa pamamagitan ng pagpapatakbo ng kafka-server-start.sh script na matatagpuan sa /opt/kafka/kafka_2.11-0.10.1.1/bin/ direktoryo sa pamamagitan ng paggamit ng sumusunod na utos: -

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Suriin kung ang Kafka Server ay gumagana nang maayos

Mayroon ka na ngayong isang Kafka server na tumatakbo at nakikinig sa port 9092.

Ngayon, maaari nating suriin ang mga port sa pakikinig:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Hakbang 4: Subukan ang Iyong Kafka Server

Ngayon, oras na upang i-verify ang Kafka server na gumagana nang tama.

1) Lumikha ng isang bagong paksa

Upang subukan ang Kafka, lumikha ng isang sample na paksa na may pangalang "pagsubok" sa Apache Kafka gamit ang sumusunod na utos:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh - Lumikha - Pagsubok sa tuktok --zookeeper localhost: 2181 --partitions 1 --replication-factor 1

2) Suriin kung ang iyong paksa ay matagumpay na nilikha

Ngayon, hilingin sa Zookeeper na ilista ang mga magagamit na paksa sa Apache Kafka sa pamamagitan ng pagpapatakbo ng sumusunod na utos:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Mag-publish ng isang mensahe gamit ang paksang iyong nilikha

echo "hello world" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost: 9092 --topic test

4) Makatanggap ng mensahe sa paksang nilikha

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --topic pagsubok –mula sa simula

5) Upang magpadala ng isang file gamit ang kafka sa isang paksa

kafka-console-producer.sh --broker-list localhost: 9092 –topic test