Mundarija:

Sqoop ma'lumotlarni import qilish va eksport qilish uchun nimadan foydalanadi?
Sqoop ma'lumotlarni import qilish va eksport qilish uchun nimadan foydalanadi?

Video: Sqoop ma'lumotlarni import qilish va eksport qilish uchun nimadan foydalanadi?

Video: Sqoop ma'lumotlarni import qilish va eksport qilish uchun nimadan foydalanadi?
Video: Sqoop Import and Export data from RDMBS and HDFS 2024, May
Anonim

Sqoop bu uzatish uchun mo'ljallangan vosita ma'lumotlar Hadoop va relyatsion ma'lumotlar bazalari o'rtasida. Sqoop ga tayanib, bu jarayonning aksariyat qismini avtomatlashtiradi ma'lumotlar bazasi uchun sxemani tasvirlash uchun ma'lumotlar bolmoq import qilingan . Sqoop foydalanadi MapReduce to ma'lumotlarni import qilish va eksport qilish , bu parallel ishlashni, shuningdek, nosozliklarga chidamliligini ta'minlaydi.

Sqoop'dan ma'lumotlarni qanday eksport qilishim mumkin?

Ishni boshlash

  1. 1-qadam: MySQL misolida yangi ma'lumotlar bazasini yarating. DB1 MA'LUMOTLAR BAZASINI YARATING;
  2. akad nomli jadval yarating.
  3. 3-qadam: input.txt va input2.txt faylini HDFS dan MySQL ga eksport qiling. sqoop eksport – ulanish jdbc:mysql://localhost/db1 –foydalanuvchi nomi sqoop –parol ildizi –jadval acad –export-dir /sqoop_msql/ -m 1.

Shuningdek, sqoop eksporti qanday ishlaydi? Sqoop - Sqoop eksportini eksport qilish buyrug'i kiritilgan ma'lumotlar to'plami bilan INSERT iboralarini tayyorlaydi, keyin ma'lumotlar bazasiga uriladi. uchun eksport qilish yangi yozuvlar, agar jadvalda asosiy kalit bilan noyob qiymat doimiysi bo'lsa, eksport Insert bayonoti bajarilmagani uchun ish bajarilmaydi. Yangilanishlaringiz bo'lsa, --update-key opsiyasidan foydalanishingiz mumkin.

Xuddi shunday, odamlar sqoop-ga ma'lumotlarni qanday import qilishim mumkinligini so'rashadi.

Har bir alohida Sqoop buyrug'i nimani anglatadi:

  1. ulanish - jdbc qatorini taqdim etadi.
  2. foydalanuvchi nomi - Ma'lumotlar bazasi foydalanuvchi nomi.
  3. -P - Konsolda parol so'raydi.
  4. jadval - MySQL-dan qaysi jadvalni import qilmoqchi ekanligingizni kompyuterga aytadi.
  5. split-by - bo'lish ustuningizni belgilaydi.
  6. target-dir - HDFS maqsadli katalogi.

Sqoop import nima?

Sqoop asbob ' Import ' odatlangan Import jadval ma'lumotlarini jadvaldan Hadoop fayl tizimiga matnli fayl yoki ikkilik fayl sifatida. Quyidagi buyruq ishlatiladi Import emp jadvalini MySQL ma'lumotlar bazasi serveridan HDFSga.

Tavsiya: