HDFSda balanslash nima?
HDFSda balanslash nima?

Video: HDFSda balanslash nima?

Video: HDFSda balanslash nima?
Video: From Big Data to Fast Data: Apache Spark by Stefano Baghino - Codemotion Milan 2015 2024, Dekabr
Anonim

HDFS balanslashtiruvchi yordam dasturini taqdim etadi. Ushbu yordamchi dastur bloklarni joylashtirishni tahlil qiladi va DataNodes bo'ylab ma'lumotlarni muvozanatlashtiradi. Klaster muvozanatli deb hisoblanmaguncha u bloklarni harakatga keltiradi, ya'ni har bir DataNodedan foydalanish bir xil bo'ladi.

Bundan tashqari, men HDFSda qanday qilib muvozanatni tiklashim mumkin?

HDFS beradi muvozanatlashtiruvchi ” yordam dasturi klasterdagi DataNodes boʻylab bloklarni muvozanatlashda yordam beradi.

HDFSni muvozanatlash

  1. Ambari Web-da Xizmatlar > HDFS > Xulosa-ga o'ting.
  2. "Xizmat amallari" ni bosing va keyin HDFSni qayta balanslash tugmasini bosing.
  3. Balans chegarasi qiymatini disk hajmining foizi sifatida kiriting.
  4. Start tugmasini bosing.

Bundan tashqari, Hadoop-da yuk balansi nima? A Yuklash - Balanslash uchun algoritm Hadoop Tarqatilgan fayl tizimi. Fayllar bloklarga bo'linadi va takrorlangan bloklar ko'plab DataNodelarda taqsimlangan tarzda saqlanadi.

Shunday qilib, Hadoop-da balanschi nima?

HDFS beradi a muvozanatlashtiruvchi Bloklarni joylashtirishni tahlil qiladigan va DataNodes bo'ylab ma'lumotlarni muvozanatlashtiradigan yordamchi dastur. U ma'lumotlar tugunining barcha disklarida ma'lumotlarni bir xilda taqsimlaydi. Disk muvozanatlashtiruvchi dan farq qiladi Balanslashtiruvchi , bu ma'lumotlar bloklarini joylashtirishni tahlil qiladi va ma'lumotlar tugunlari bo'ylab ma'lumotlarni muvozanatlashtiradi.

Hdfs balanslagichimni qanday bekor qilishim mumkin?

Hozirgi hadoop hujjatlarida bu "hadoop muvozanatlashtiruvchi [-threshold]" boshlash uchun a muvozanatlashtiruvchi va uchun STOP the muvozanatlashtiruvchi ctrl-c tugmalarini bosing. Ammo ba'zi boshqa joylarda (YDN va eski hadoop versiyasi hujjatlari), "start- muvozanatlashtiruvchi .sh" ni ishga tushirish va qo'ng'iroq qilish uchun " STOP - muvozanatlashtiruvchi .sh" ga STOP bu.

Tavsiya: