Translyatsiya uchquni nima?
Translyatsiya uchquni nima?

Video: Translyatsiya uchquni nima?

Video: Translyatsiya uchquni nima?
Video: ZEBO RAHIMOVA AKTIRISA TOYIDA ERIDAN KALTAK YERI 2024, May
Anonim

Translyatsiya Apache'dagi o'zgaruvchilar Uchqun faqat o'qish uchun mo'ljallangan ijrochilar bo'ylab o'zgaruvchilarni almashish mexanizmidir. holda efirga uzatish o'zgaruvchilar, bu o'zgaruvchilar har bir transformatsiya va harakat uchun har bir ijrochiga yuboriladi va bu tarmoq yukiga olib kelishi mumkin.

Yana shuni bilish kerakki, men qachon uchqunni uzatishim kerak?

Translyatsiya o'zgaruvchilar, asosan, bir nechta bosqichlardagi vazifalar bir xil ma'lumotlarni talab qilganda yoki ma'lumotlarni seriyadan chiqarilgan shaklda keshlash zarur bo'lganda ishlatiladi. Translyatsiya o'zgaruvchilar SparkContext chaqiruvi orqali v o'zgaruvchisi yordamida yaratiladi.

Bundan tashqari, akkumulyator uchqunni qanday belgilaydi? Akkumulyatorlar ular faqat assotsiativ operatsiya orqali "qo'shiladigan" o'zgaruvchilardir va shuning uchun parallel ravishda samarali qo'llab-quvvatlanishi mumkin. Ular hisoblagichlarni (MapReduce-dagi kabi) yoki summalarni amalga oshirish uchun ishlatilishi mumkin. Uchqun tabiiy ravishda qo'llab-quvvatlaydi akkumulyatorlar Raqamli turdagi va dasturchilar yangi turlarni qo'llab-quvvatlashi mumkin.

Bundan tashqari, uchqundagi umumiy o'zgaruvchi nima?

Birgalikda o'zgaruvchilar ular o'zgaruvchilar ko'plab funktsiyalar va usullar bilan parallel ravishda ishlatilishi kerak. Birgalikda o'zgaruvchilar parallel operatsiyalarda foydalanish mumkin. Uchqun ishni mumkin bo'lgan eng kichik operatsiyaga, yopilishga, turli tugunlarda ishlaydigan va har birining nusxasiga ega bo'ladi. o'zgaruvchilar ning Uchqun ish.

DataFrame-ni translyatsiya qila olamizmi?

Uchqun mumkin “ efirga uzatish ” kichik DataFrame o'sha kichik barcha ma'lumotlarni yuborish orqali DataFrame klasterdagi barcha tugunlarga. Kichkinadan keyin DataFrame hisoblanadi efirga uzatildi , Spark mumkin katta hajmdagi ma'lumotlarni aralashtirmasdan birlashmani amalga oshiring DataFrame.

Tavsiya: