Kalit bilan qisqartirish nima?
Kalit bilan qisqartirish nima?

Video: Kalit bilan qisqartirish nima?

Video: Kalit bilan qisqartirish nima?
Video: Javascript - 1 qism. JS haqida ma`lumot, 'var' kalit so`zi. 2024, Noyabr
Anonim

Spark RDD reduceByKey funksiyasi har biri uchun qiymatlarni birlashtiradi kalit assotsiativdan foydalanish kamaytirish funktsiyasi. Bu intuitiv ravishda shuni anglatadiki, ushbu funktsiya elementning tartibidan qat'i nazar, bir nechta bo'limlarga ega bir xil RDD ma'lumotlar to'plamida takroriy qo'llanilganda bir xil natija beradi.

Keyin groupByKey va reduceByKey o'rtasidagi farq nima?

groupByKey () faqat ma'lumotlar to'plamini kalit asosida guruhlashdir. kamaytirishByKey () guruhlash + yig'ish kabi narsadir. kamaytirishByKey katta ma'lumotlar to'plamida ishlaganimizda foydalanish mumkin. aggregateByKey() mantiqan bir xil kamaytirishByKey () lekin bu sizga natijani qaytarish imkonini beradi boshqacha turi.

Shuningdek, bilingki, nima uchun kamaytirish harakat uchqunda? Uchqunni kamaytirish operatsiya hisoblanadi harakat operatsiya turi va u barcha qatorlangan dangasa ko'rsatmalar uchun to'liq DAG bajarilishini ishga tushiradi. Uchqun RDD kamaytirish funksiya belgilangan kommutativ va assotsiativ ikkilik operator yordamida ushbu RDD elementlarini kamaytiradi. Uchqunni kamaytirish operatsiya deyarli o'xshash kamaytirish Scala usuli.

Yuqoridagilardan tashqari, Pairrdd nima?

Spark kalit/qiymat juftlarini o'z ichiga olgan RDDlarda maxsus operatsiyalarni ta'minlaydi. Ushbu RDDlar juft RDDlar deb ataladi. RDDlarni juftlashtirish ko'plab dasturlarda foydali qurilish blokidir, chunki ular har bir kalitda parallel ravishda harakat qilish yoki tarmoq bo'ylab ma'lumotlarni qayta guruhlash imkonini beruvchi operatsiyalarni ochib beradi. PairRDDs KEY/VALUE juftliklari.

reduceByKey harakatmi?

reduce() yo'naltirilgan asiklik grafikga (DAG) qo'shilmaydigan to'plamni chiqaradi, shuning uchun harakat . Biroq, kamaytirishByKey () DAGdagi boshqa daraja/holat bo'lgan RDDni qaytaradi, shuning uchun transformatsiyadir.

Tavsiya: