Mundarija:

Sparkni mahalliy sifatida ishga tushira olamanmi?
Sparkni mahalliy sifatida ishga tushira olamanmi?

Video: Sparkni mahalliy sifatida ishga tushira olamanmi?

Video: Sparkni mahalliy sifatida ishga tushira olamanmi?
Video: Встреча №2-24.04.2022 | Диалог и ориентация членов команды Е... 2024, Noyabr
Anonim

Spark mumkin bo'l yugur ichida o'rnatilgan mustaqil klaster rejalashtiruvchisidan foydalanish mahalliy rejimi. Bu shuni anglatadiki, barcha Uchqun jarayonlardir yugur bir xil JVM ichida-samarali, bitta, ko'p tarmoqli misol Uchqun.

Shu munosabat bilan Apache spark-ni mahalliy sifatida qanday ishga tushiraman?

Quyidagi qadamlar Apache Spark-ni qanday o'rnatishni ko'rsatadi

  1. 1-qadam: Java o'rnatilishini tekshirish.
  2. 2-qadam: Scala o'rnatilishini tekshirish.
  3. 3-qadam: Scala-ni yuklab oling.
  4. 4-qadam: Scala-ni o'rnatish.
  5. 5-qadam: Apache Spark yuklab olish.
  6. 6-qadam: Spark-ni o'rnatish.
  7. 7-qadam: Spark o'rnatilishini tekshirish.

Bundan tashqari, biz Hadoopsiz uchqunni ishga tushira olamizmi? bo'yicha Uchqun hujjatlar, Spark Hadoopsiz ishlashi mumkin . Siz mumkin uni boshqaring mustaqil rejim sifatida holda har qanday resurs menejeri. Lekin agar siz hohlamoq yugur ko'p tugunli o'rnatishda, siz YARN yoki Mesos kabi manba menejeri va shunga o'xshash taqsimlangan fayl tizimi kerak HDFS , S3 va boshqalar. Ha, Spark hadoopsiz ishlashi mumkin.

Yuqoridagilardan tashqari, Sparkni mustaqil rejimda qanday ishga tushirishim mumkin?

O'rnatish uchun Spark mustaqil rejimi , siz shunchaki kompilyatsiya qilingan versiyasini joylashtirasiz Uchqun klasterdagi har bir tugunda. ning oldindan tuzilgan versiyalarini olishingiz mumkin Uchqun har bir nashr bilan yoki uni o'zingiz yarating.

Spark Windowsda ishlay oladimi?

A Uchqun ilova mumkin a bo'l Windows -shell skripti yoki u mumkin yozma Java, Scala, Python yoki R-da maxsus dastur bo'lishi kerak Windows tizimingizda o'rnatilgan bajariladigan fayllar yugur bu ilovalar.

Tavsiya: