Spark Pythonning qaysi versiyasidan foydalanadi?
Spark Pythonning qaysi versiyasidan foydalanadi?

Video: Spark Pythonning qaysi versiyasidan foydalanadi?

Video: Spark Pythonning qaysi versiyasidan foydalanadi?
Video: redmi telefon ovozini kuchaytirish 100% ishladimi👍☄️🎵📲 2024, Noyabr
Anonim

Uchqun Java 8+ da ishlaydi, Python 2.7+/3.4+ va R 3.1+. Scala API uchun, Uchqun 2.3. 0 foydalanadi Scala 2.11. Sizga kerak bo'ladi foydalanish mos keluvchi Scala versiya (2.11.

Shunga mos ravishda, spark Python 3 bilan ishlaydimi?

Apache Uchqun bu klasterli hisoblash tizimi bo'lib, hozirda ochiq manbali Big Data arenasida eng faol ishlab chiqilganlardan biri hisoblanadi. Oxirgi 1.4 versiyasidan beri (2015 yil iyun), Uchqun R va ni qo'llab-quvvatlaydi Python 3 (Java, Scala va. uchun ilgari mavjud bo'lgan yordamni to'ldirish uchun Python 2).

Yuqoridagilardan tashqari, Python-ning uchqun versiyasini qanday o'zgartirishim mumkin? Agar siz faqat xohlasangiz o'zgartirish the python versiyasi joriy vazifa uchun quyidagi pyspark start buyrug'idan foydalanishingiz mumkin: PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/ piton PYSPARK_PYTHON=/usr/local/anaconda2/bin/ piton pyspark - usta..

Bundan tashqari, so'nggi spark versiyasi nima?

Apache Spark

Asl muallif(lar) Matei Zaxariya
Dastlabki nashr 2014 yil 26 may
Barqaror chiqarish 2.4.5 / 8-fevral, 2020-yil
Repozitariy Spark ombori
Yozilgan Skala

Spark Python nima?

Apache yordamida katta ma'lumotlarni o'zlashtirish Uchqun va Python Py4J - bu integratsiyalashgan mashhur kutubxona PySpark imkon beradi piton JVM ob'ektlari (RDD) bilan dinamik interfeys. Apache Uchqun uchun interaktiv qobiq bilan birga keladi piton Scala uchun bo'lgani kabi. uchun qobiq piton nomi bilan tanilgan PySpark ”.

Tavsiya: