Shou uchqundagi harakatmi?

2024 Muallif: Lynn Donovan | [email protected]. Oxirgi o'zgartirilgan: 2023-12-15 23:54

2 ta javob. ko'rsatish albatta, bir harakat , lekin u hamma narsani ishga tushirish shart emasligini bilish uchun etarlicha aqlli. Agar sizda orderBy bo'lsa, bu ham juda uzoq davom etadi, lekin bu holda barcha operatsiyalaringiz xarita operatsiyalari bo'lib, butun yakuniy jadvalni hisoblashning hojati yo'q.

Shunday qilib, hisoblash uchqundagi harakatmi?

hisoblash () ga hisoblash qatorlar soni. DAG bajarilishini boshlaganligi va ma'lumotlarni drayverga qaytarganligi sababli, uning an harakat RDD uchun. 2-holat: Agar siz qo'ng'iroq qilsangiz hisoblash Dataframe-da u DAG bajarilishini boshlaydi va ma'lumotlarni drayverga qaytaradi, uning an harakat Dataframe uchun.

Xuddi shunday, uchqundagi harakat va o'zgarish nima? Uchqun RDD operatsiyalari. Ikki turdagi Apache Uchqun RDD operatsiyalari - Transformatsiyalar va Harakatlar . A Transformatsiya Bu mavjud RDD-lardan yangi RDD ishlab chiqaradigan funktsiya, ammo biz haqiqiy ma'lumotlar to'plami bilan ishlashni xohlaganimizda, o'sha paytda Harakat bajariladi.

Shunga mos ravishda, uchqundagi harakat nima?

Harakatlar RDD ning ishlashi bo'lsa, bu qiymat klasterda bajarish uchun ishni boshlaydigan spar haydovchi dasturlariga qaytadi. Transformatsiyaning chiqishi kirish hisoblanadi Harakatlar . kamaytirish, to'plash, namuna olish, olish, birinchi, saveAsTextfile, saveAsSequenceFile, countByKey, foreach keng tarqalgan. harakatlar Apache'da uchqun.

Yig'ish () uchqun ichida nima qiladi?

yig'ish (funksiya) yig'ish ma'lumotlar to'plamining elementlarini massiv sifatida haydovchi dasturiga qaytaradi. yig'ish kabi ilgari berilgan misollarda tez-tez ishlatiladi Uchqun Qaytish qiymatlarini ko'rsatish uchun o'zgartirish misollari. Masalan, REPL massivning qiymatlarini konsolga qaytaradi.