Spark uchun Hadoopni o'rganishim kerakmi?
Spark uchun Hadoopni o'rganishim kerakmi?

Video: Spark uchun Hadoopni o'rganishim kerakmi?

Video: Spark uchun Hadoopni o'rganishim kerakmi?
Video: Data Science with Python! Analyzing File Types from Avro to Stata 2024, Noyabr
Anonim

Yo'q, yo'q Hadoopni o'rganish kerak uchun o'rganingSpark . Uchqun mustaqil loyiha edi. Ammo YARNanddan keyin Hadoop 2.0, Uchqun mashhur bo'ldi, chunki Uchqun boshqalar bilan birga HDFS ustida ishlashi mumkin Hadoop komponentlar. Hadoop Java sinflarini meros qilib olish orqali MapReduce ishini yozadigan ramka.

Xuddi shunday, Spark yoki Hadoopni o'rganish yaxshiroqmi?

Birinchi va asosiy farq - bu RAMning sig'imi va undan foydalanish. Uchqun foydalanadi Ko'proq Tasodifiy kirish xotirasi Hadoop , lekin u kamroq internet yoki disk xotirasini “yeydi”, shuning uchun foydalansangiz Hadoop , bu yaxshiroq katta ichki xotiraga ega kuchli mashinani topish.

Ikkinchidan, Hadoopni o'rganish osonmi? Hadoop dasturlash hisoblanadi Sekinroq SQL ko'nikmalariga ega odamlar uchun ham - Pig va Hive tufayli. Talabalar yoki hech qanday dasturlash ma'lumotiga ega bo'lmagan, shunchaki SQL bilimiga ega bo'lgan mutaxassislar o'zlashtirishlari mumkin Hadoop har tomonlama qo'llash orqali Hadoop agar ularda g'ayrat va xohish bo'lsa, mashg'ulotlar o'rganing.

Bundan tashqari, Hadoopni o'rganish uchun qancha vaqt kerak bo'ladi?

taxminan 3-4 oy

Uchqun Hadoop o'rnini egallaydimi?

Uchqun hech qachon bo'la olmaydi almashtirish uchun Hadoop ! Uchqun yuqori qismida ishlaydigan ishlov berish dvigatelidir Hadoop ekotizim. Yuqoridagi arxitekturada ko'rsatilganidek, Uchqun da MapReduce o'rniga keladi Hadoop ekotizim. Tarkibida boshqa komponentlar mavjud Hadoop Pig va Hive kabi ma'lumotlarni qayta ishlash uchun arxitektura.

Tavsiya: