Spark-da nima yangiliklar?
Spark-da nima yangiliklar?

Video: Spark-da nima yangiliklar?

Video: Spark-da nima yangiliklar?
Video: Sparkda xato va kamchiliklar. Korin spark olish fikridan qaytsayiz ajab emas. 2024, Dekabr
Anonim

Xatolarni tuzatishdan tashqari, ikkitasi mavjud yangi xususiyatlari Uchqun 2.4: SPARK -22239 Pandas UDF bilan foydalanuvchi tomonidan belgilangan oyna funksiyalari. SPARK -22274 Pandas udf bilan foydalanuvchi tomonidan belgilangan yig'ish funktsiyalari. Biz bularga ishonamiz yangi xususiyatlar Pandas UDF-ni qabul qilishni yanada yaxshilaydi va biz keyingi nashrlarda Pandas UDF-ni yaxshilashda davom etamiz.

Xuddi shunday, Sparkning eng so'nggi versiyasi nima?

Tarix

Versiya Asl chiqish sanasi Eng so'nggi versiya
2.2 2017-07-11 2.2.3
2.3 2018-02-28 2.3.3
2.4 2018-11-02 2.4.4
Legend: Eski versiya Eski versiya, hali ham saqlanib qolgan Oxirgi versiya Eng so‘nggi ko‘rib chiqish versiyasi

Yuqoridagilardan tashqari, Spark SQL ANSI mos keladimi? Sifatida Uchqun 2.0, Uchqun hisoblanadi ANSI SQL :2003 mos , bu degani Spark SQL qo'llab-quvvatlaydi SQL boshqa dialektlarda mavjud bo'lmagan operatsiyalar.

Bu erda, Spark Java 11 ni qo'llab-quvvatlaydimi?

Scala va Java foydalanuvchilar kiritishi mumkin Uchqun Maven koordinatalaridan foydalangan holda o'z loyihalarida va Python foydalanuvchilari o'rnatishlari mumkin Uchqun PyPI dan. Uchqun davom etadi Java 8/ 11 , Scala 2.12, Python 2.7+/3.4+ va R 3.1+.

Spark SQL yangilanishini qo'llab-quvvatlaydimi?

2 ta javob. Spark SQL qilmaydi UPDATE-ni qo'llab-quvvatlang hali bayonotlar. Uya boshlandi UPDATE-ni qo'llab-quvvatlaydi uyaning 0.14 versiyasidan beri. Lekin Hive bilan ham, u yangilanishlarni qo'llab-quvvatlaydi /faqat jadvallarni o'chiradi qo'llab-quvvatlash tranzaktsiyalar, u uyaning hujjatlarida qayd etilgan.

Tavsiya: