PySpark-da qator nima?
PySpark-da qator nima?

Video: PySpark-da qator nima?

Video: PySpark-da qator nima?
Video: ЗАМОРОЗЬТЕ КОСТИ И ВАРИТЕ 6 ЧАСОВ! Рецепт который изменит вашу жизнь! 2024, Noyabr
Anonim

A qator SchemaRDD da. Undagi maydonlarga atributlar kabi kirish mumkin. Qator yaratish uchun foydalanish mumkin qator ob'ektni nomli argumentlardan foydalangan holda, maydonlar nomlar bo'yicha tartiblanadi.

Bundan tashqari, Column Pyspark bilan nima bor?

Ustun bilan uchqun () funktsiyasi mavjud DataFrame ustunining nomini o'zgartirish, qiymatini o'zgartirish, ma'lumotlar turini o'zgartirish uchun ishlatiladi va shuningdek, yangi ustun yaratish uchun ishlatilishi mumkin, bu postda men sizga Scala va bilan tez-tez ishlatiladigan DataFrame ustun operatsiyalari orqali tanishtiraman. Pyspark misollar.

Bundan tashqari, Pyspark-da DataFrame-ni qanday ko'rsatasiz? Dataframe tarkibini chop etish uchun odatda uch xil usuldan foydalanishingiz mumkin:

  1. Spark DataFrame-ni chop eting. Eng keng tarqalgan usul show() funksiyasidan foydalanishdir: >>> df.
  2. Spark DataFrame-ni vertikal ravishda chop eting.
  3. Pandas-ga aylantiring va Pandas DataFrame-ni chop eting.

Xuddi shunday, siz so'rashingiz mumkin, Pyspark nima?

PySpark Dasturlash. PySpark Apache Spark va Python hamkorligidir. Apache Spark - bu tezlik, foydalanish qulayligi va oqimli tahlillar asosida qurilgan ochiq manbali klasterli hisoblash tizimi, Python esa umumiy maqsadli, yuqori darajadagi dasturlash tilidir.

Pysparkga qanday qo'shilish mumkin?

Xulosa: Pyspark DataFrames mavjud qo'shilish uchta parametrni qabul qiladigan usul: DataFrame ning o'ng tomonida qo'shilish , Qaysi maydonlar va qaysi turdagi birlashtirilmoqda qo'shilish (ichki, tashqi, chap_tashqi, o'ng_tashqi, chap yarim). ga qo'ng'iroq qilasiz qo'shilish df1 kabi DataFrame ob'ektining chap tomonidagi usul. qo'shilish (df2, df1.

Tavsiya: