Video: Computing a theory of everything | Stephen Wolfram 2024
Interagire con i dati da una singola fonte è un problema; interagire con i dati di diverse fonti è tutt'altra cosa. Tuttavia, i set di dati oggi provengono generalmente da più di una fonte, quindi è necessario comprendere le complicazioni che possono derivare dall'utilizzo di più origini dati. Quando si lavora con più origini dati, è necessario effettuare le seguenti operazioni:
- Determina se entrambi i set di dati contengono tutti i dati richiesti. È improbabile che due progettisti creino set di dati contenenti esattamente gli stessi dati, nello stesso formato, dello stesso tipo e nello stesso ordine. Di conseguenza, è necessario considerare se i set di dati forniscono i dati necessari o se è necessario rimediare ai dati in qualche modo per ottenere il risultato desiderato.
- Controllare entrambi i set di dati per problemi relativi al tipo di dati. Un set di dati potrebbe avere date di input come stringhe e un altro potrebbe avere le date inserite come oggetti di data reali. Le incoerenze tra i tipi di dati causano problemi per un algoritmo che si aspetta dati in un modulo e lo riceve in un altro.
- Assicurarsi che tutti i set di dati abbiano lo stesso significato sugli elementi di dati. I dati creati da una fonte potrebbero avere un significato diverso rispetto ai dati creati da un'altra fonte. Ad esempio, la dimensione di un intero può variare in base alle origini, pertanto potresti visualizzare un numero intero a 16 bit da un'origine e un numero intero a 32 bit da un altro. Valori più bassi hanno lo stesso significato, ma il numero intero a 32 bit può contenere valori più grandi, che possono causare problemi all'algoritmo. Le date possono anche causare problemi perché spesso si basano sulla memorizzazione di così tanti millisecondi da una determinata data (come JavaScript, che memorizza il numero di millisecondi dal 01 gennaio 1970 UTC). Il computer vede solo i numeri; gli umani aggiungono significato a questi numeri in modo che le applicazioni li interpretino in modi specifici.
- Verifica gli attributi dei dati. Gli elementi di dati hanno attributi specifici. Questa interpretazione può cambiare quando si usa
numpy. Infatti, gli attributi dei dati cambiano tra gli ambienti e gli sviluppatori possono modificarli ulteriormente creando tipi di dati personalizzati. Per combinare i dati da varie fonti, è necessario comprendere questi attributi per garantire che i dati vengano interpretati correttamente.
Maggiore è il tempo impiegato per verificare la compatibilità dei dati da ciascuna delle fonti che si desidera utilizzare per un set di dati, meno è probabile che si incontrino problemi quando si lavora con un algoritmo. I problemi di incompatibilità dei dati non sempre appaiono come errori evidenti. In alcuni casi, un'incompatibilità può causare altri problemi, come risultati errati che sembrano corretti ma forniscono informazioni fuorvianti.
La combinazione di dati da più fonti potrebbe non significare sempre la creazione di un nuovo set di dati che assomigli esattamente ai set di dati di origine. In alcuni casi, puoi creare aggregati di dati o eseguire altre forme di manipolazione per creare nuovi dati dai dati esistenti. L'analisi prende tutti i tipi di forme e alcune delle forme più esotiche possono produrre errori terribili se usate in modo errato. Ad esempio, una fonte di dati potrebbe fornire informazioni generali sui clienti e una seconda fonte di dati potrebbe fornire abitudini di acquisto dei clienti. La mancata corrispondenza tra le due fonti potrebbe corrispondere ai clienti con informazioni errate sull'abitudine all'acquisto e causare problemi quando si tenta di commercializzare nuovi prodotti per questi clienti. Come esempio estremo, considera cosa succederebbe combinando le informazioni sui pazienti da diverse fonti e creando voci combinate dei pazienti in una nuova fonte di dati con tutti i tipi di discrepanze. Un paziente senza una storia di una particolare malattia potrebbe finire con i record che mostrano la diagnosi e la cura della malattia.
