Mundarija:

Spark History serverimni qanday ishga tushiraman?
Spark History serverimni qanday ishga tushiraman?

Video: Spark History serverimni qanday ishga tushiraman?

Video: Spark History serverimni qanday ishga tushiraman?
Video: Признаки и причины неисправности цепной пилы 2024, May
Anonim

Spark tarixi serverini yoqish uchun:

  1. DSEFS fayl tizimida voqealar jurnallari uchun katalog yarating: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Voqealar jurnali yoqilganda, standart xatti-harakatlar barcha jurnallar uchun saqlanadi, bu esa vaqt o'tishi bilan saqlash hajmini oshiradi.

Bundan tashqari, Spark History serverini qanday sozlashim mumkin?

Spark tarixi serverini yoqish uchun:

  1. DSEFS fayl tizimida voqealar jurnallari uchun katalog yarating: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Voqealar jurnali yoqilganda, standart xatti-harakatlar barcha jurnallar uchun saqlanadi, bu esa vaqt o'tishi bilan saqlash hajmini oshiradi.

Xuddi shunday, Spark History serverimning URL manzilini qanday topish mumkin? Masalan, uchun tarix serveri , ular odatda https://< manzilida mavjud bo'lar edi server - url >:18080/api/v1 va ishlayotgan ilova uchun https://localhost:4040/api/v1 manzilida. APIda ilovaga uning ilova identifikatori [app-id] orqali havola qilinadi.

Xuddi shunday, Spark History serveri nima?

The Spark tarixi serveri tugallanganligi haqidagi ma'lumotlarni ko'rsatadigan monitoring vositasi Uchqun ilovalar. Ushbu ma'lumot hisoblanadi Ilovalar sukut bo'yicha Hadoop taqsimlangan fayl tizimidagi (HDFS) katalogga yozadigan ma'lumotlardan olingan.

Sparkui nima?

Spark Web UI sizga rejalashtirish bosqichlari va vazifalari ro'yxatini, atrof-muhitga oid ma'lumotlarni, ishlaydigan ijrochilar haqidagi ma'lumotlarni va boshqalarni ko'rish imkonini beradi. Quyidagilar haqida bilish uchun ushbu 30 daqiqalik demoni tomosha qiling: Spark dasturining komponentlari va hayot aylanishi. Spark ilovangiz Hadoop klasterida qanday ishlaydi.

Tavsiya: