Кафкаг тохируулах: 4 алхам

2024 Зохиолч: John Day | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2024-01-30 11:02

Танилцуулга:

Apache Kafka бол Scala хэл дээр бичигдсэн Apache Software Foundation-ийн боловсруулсан нээлттэй эх сурвалж бүхий өргөтгөх боломжтой, өндөр нэвтрүүлэх чадвартай мессежийн систем юм. Апачи Кафка нь нэг кластерыг том орчинд мэдээллийн гол тулгуур болгох үүргийг тусгайлан бүтээсэн болно. Энэ нь ActiveMQ, RabbitMQ гэх мэт бусад мессеж зуучлагчдын системтэй харьцуулахад хамаагүй өндөр дамжуулах чадвартай. Энэ нь бодит цагийн их хэмжээний өгөгдлийг үр дүнтэй удирдах чадвартай. Та Кафкаг ганц Apache сервер дээр эсвэл хуваарилагдсан кластер орчинд байрлуулж болно.

Онцлог:

Кафкагийн ерөнхий шинж чанарууд дараах байдалтай байна.

Тогтмол цагийн гүйцэтгэлийг өгдөг диск дээрх байнгын зурвас.

Секундэд хэдэн зуун мянган мессежийг дэмждэг дискний бүтээмж өндөртэй.

Хуваарилагдсан систем нь ямар ч зогсолтгүйгээр амархан масштабтай болдог.

Олон захиалагчийг дэмжиж, бүтэлгүйтсэн үед хэрэглэгчдийг автоматаар тэнцвэржүүлдэг.

Энэхүү заавар нь Ubuntu 16.04 сервер дээр Apache Kafka -ийг хэрхэн суулгах, тохируулахыг харуулав.

Шаардлага

Ubuntu 16.04 сервер.

Таны сервер дээр тохируулсан супер хэрэглэгчийн эрхтэй үндсэн бус хэрэглэгчийн данс.

Алхам 1: Java -г эхлүүлэх, суулгах

1) Таны Ubuntu 16.04 сервер бүрэн шинэчлэгдсэн эсэхийг шалгаж эхэлье

Та дараах тушаалуудыг ажиллуулж серверээ шинэчлэх боломжтой.

sudo apt -get update -y

sudo apt -get upgrade -y

2) Java суулгах

Дараах тушаалаар таны машинд java суулгасан эсвэл java-ийн үндсэн хувилбар байгаа эсэхийг шалгаарай:-

java хувилбар

Та Java -тэй боловч арай доогуур хувилбартай байсан ч гэсэн үүнийг шинэчлэх шаардлагатай болно.

Та Java-г дараах байдлаар суулгаж болно.

sudo apt-get install default-jdk

ЭСВЭЛ

Та Oracle JDK 8 -ийг Webupd8 багийн PPA репозиторыг ашиглан суулгаж болно.

Хадгалах санг нэмэхийн тулд дараах тушаалыг ажиллуулна уу:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get oracle-java8-installer -y суулгана уу

Алхам 2: Zookeeper -ийг суулгана уу

Zookeeper гэж юу вэ?

Zookeeper бол тохиргооны мэдээллийг хадгалах, нэр өгөх, тараасан синхрончлол хийх, бүлгийн үйлчилгээ үзүүлэх төвлөрсөн үйлчилгээ юм. Эдгээр бүх төрлийн үйлчилгээг ямар нэгэн хэлбэрээр эсвэл өөр хэлбэрээр тараасан програмуудаар ашигладаг. Тэдгээрийг хэрэгжүүлэх болгонд гарцаагүй гардаг алдаанууд болон уралдааны нөхцлийг засахын тулд маш их ажил хийгддэг. Ийм төрлийн үйлчилгээг хэрэгжүүлэхэд хүндрэлтэй байдаг тул програмууд нь ихэвчлэн тэдгээрийг хэмнэдэг бөгөөд энэ нь өөрчлөлт гарсан тохиолдолд тэдгээрийг эмзэг болгож, удирдахад хэцүү болгодог. Зөв хийгдсэн байсан ч гэсэн эдгээр үйлчилгээний өөр өөр хэрэгжилт нь програмуудыг байрлуулахад менежментийн нарийн төвөгтэй байдлыг бий болгодог.

Apache Kafka -ийг суулгахын өмнө та амьтны хүрээлэн ажиллуулж, ажиллуулж байх хэрэгтэй. ZooKeeper бол тохиргооны мэдээллийг хадгалах, хуваарилагдсан синхрончлол хийх, нэр өгөх, бүлгийн үйлчилгээ үзүүлэх нээлттэй эхийн үйлчилгээ юм.

1) Анхдагч байдлаар Zookeeper багцыг Ubuntu -ийн анхдагч репозиторид ашиглах боломжтой

Та дараах тушаалыг ажиллуулж суулгаж болно:-

sudo apt-get install zookeeperd

Суулгалт дууссаны дараа үүнийг автоматаар демон болгон эхлүүлэх болно. Анхдагч байдлаар Zookeeper 2181 порт дээр ажиллах болно.

Та үүнийг дараах тушаалыг ажиллуулж туршиж үзэх боломжтой.

netstat -ant | grep: 2181

Гаралт нь 2181 портыг сонсож байгааг танд харуулах ёстой.

Алхам 3: Kafka серверийг суулгаж эхлүүлнэ үү

Java болон ZooKeeper -ийг суулгасны дараа Кафкаг Apache вэбсайтаас татаж аваад задлах цаг болжээ.

1) Та curl эсвэл wget ашиглан Кафкаг татаж авах боломжтой: (Kafka хувилбар 0.10.1.1)

Кафка тохиргоог татаж авахын тулд дараах тушаалыг ажиллуулна уу:-

curl -O

ЭСВЭЛ

wget

2) Кафкад зориулсан лавлах үүсгэх

Дараа нь Кафка суулгах лавлах үүсгэнэ үү.

sudo mkdir /opt /kafka

cd /opt /kafka

3) Татаж авсан фолдерыг задлах

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Хэрэглэгчийн нэрийнхээ дагуу хэрэглэгчийн нэрийг өөрчил

4) Кафка серверийг эхлүүлнэ үү

Дараагийн алхам бол Kafka серверийг эхлүүлэхийн тулд та дараах тушаалыг ашиглан /opt/kafka/kafka_2.11-0.10.1.1/bin/ лавлах дээр байрлах kafka-server-start.sh скриптийг ажиллуулж болно.

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Кафка сервер сайн ажиллаж байгаа эсэхийг шалгаарай

Та одоо 9092 порт дээр ажиллаж байгаа Кафка сервертэй боллоо.

Одоо бид сонсох портуудыг шалгаж болно.

- ZooKeeper: 2181

- Кафка: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Алхам 4: Кафка серверээ туршиж үзээрэй

Одоо Кафка сервер зөв ажиллаж байгаа эсэхийг шалгах цаг болжээ.

1) Шинэ сэдэв үүсгэх

Кафкаг туршихын тулд дараах тушаалыг ашиглан Apache Kafka -д "тест" нэртэй жишээ сэдэв үүсгэнэ үү.

-

2) Таны сэдэв амжилттай бүтээгдсэн эсэхийг шалгаарай

Дараах тушаалыг ажиллуулснаар Zookeeper -аас Apache Kafka дээрх боломжтой сэдвүүдийг жагсаахыг хүснэ үү.

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Өөрийн үүсгэсэн сэдвийг ашиглан мессеж нийтлэх

цуурай "Сайн уу ертөнц" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-брокерын жагсаалт localhost: 9092-сэдэвчилсэн туршилт

4) Үүсгэсэн сэдвээр мессеж хүлээн авах

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092-сэдэвчилсэн туршилт-эхнээс нь

5) Сэдвээр кафка ашиглан файл илгээх

kafka-console-producer.sh-брокерын жагсаалт localhost: 9092-сэдэвчилсэн туршилт