Video: hadoop yarn architecture 2025
Quando si tratta di Sqoop, un'immagine vale più di mille parole, quindi dai un'occhiata alla figura, che ti offre una vista a volo d'uccello dell'architettura Sqoop.
L'idea alla base di Sqoop è che sfrutta le attività mappa - attività che eseguono l'importazione e l'esportazione parallele di tabelle di database relazionali - direttamente dall'interno del framework Hadoop MapReduce. Questa è una buona notizia perché il framework MapReduce offre tolleranza d'errore per i lavori di importazione ed esportazione insieme all'elaborazione parallela!
Apprezzerete la tolleranza d'errore in caso di errore durante l'importazione o esportazione di una tabella di grandi dimensioni, poiché il framework MapReduce si ripristinerà senza che sia necessario riavviare il processo.
Sqoop può importare i dati su Hive e HBase. Notare, tuttavia, che le frecce per Hive e HBase puntano in un'unica direzione. I dati memorizzati in qualsiasi database relazionale con supporto JDBC possono essere importati direttamente nei sistemi Hive o HBase con Sqoop. Le esportazioni, tuttavia, vengono eseguite da dati memorizzati in HDFS.
Pertanto, se è necessario esportare le tabelle Hive, si punta Sqoop alle directory HDFS che memorizzano le tabelle Hive. Se è necessario esportare le tabelle HBase, è necessario prima esportarle su HDFS e quindi eseguire il comando di esportazione Sqoop.
