L'evoluzione del calcolo distribuito per i Big Data - manichini

Dietro tutte le tendenze importanti degli ultimi dieci anni, tra cui orientamento al servizio, cloud computing, virtualizzazione e big data, è una tecnologia fondamentale chiamata computing distribuito. In poche parole, senza distribuire il calcolo, nessuno di questi progressi sarebbe stato possibile.

Il calcolo distribuito è una tecnica che consente a singoli computer di essere collegati in rete tra aree geografiche come se fossero un singolo ambiente. Trovi molte diverse implementazioni del calcolo distribuito. In alcune topologie, le singole entità di elaborazione passano semplicemente messaggi l'una all'altra.

In altre situazioni, un ambiente di elaborazione distribuito può condividere risorse che vanno dalla memoria alle reti e all'archiviazione. Tutti i modelli di calcolo distribuiti hanno un attributo comune: si tratta di un gruppo di computer in rete che lavorano insieme per eseguire un carico di lavoro o un processo.

DARPA e big data

Il modello di calcolo distribuito più noto, Internet, è alla base di tutto, dall'e-commerce al cloud computing, alla gestione dei servizi e alla virtualizzazione. Internet è stato concepito come un progetto di ricerca finanziato dalla U. S. DARPA.

È stato progettato per creare un sistema di interconnessione in rete che supporti la ricerca collaborativa non commerciale tra gli scienziati. Nei primi giorni di Internet, questi computer erano spesso collegati da linee telefoniche! A meno che tu non abbia provato quella frustrazione, puoi solo immaginare quanto lente e fragili siano quelle connessioni.

Con la maturazione della tecnologia nel corso del prossimo decennio, protocolli comuni come TCP (Transmission Control Protocol) hanno contribuito a diffondere la tecnologia e la rete. Quando è stato aggiunto l'IP (Internet Protocol), il progetto è passato da una rete chiusa a una raccolta di scienziati a una piattaforma potenzialmente commerciale per trasferire la posta elettronica in tutto il mondo.

Nel corso degli anni '80, i nuovi servizi basati su Internet hanno iniziato a spuntare sul mercato come alternativa commerciale alla rete DARPA. Nel 1992, il Congresso degli Stati Uniti ha approvato la legge sulla scienza e sulla tecnologia avanzata che, per la prima volta, ha permesso l'uso commerciale di questa potente tecnologia di rete. Con la sua continua crescita esplosiva, Internet è davvero una rete distribuita globale e rimane il miglior esempio della potenza del calcolo distribuito.

Il valore di un modello di big data coerente

Che differenza ha fatto questo sforzo guidato da DARPA nel movimento verso l'informatica distribuita?Prima della commercializzazione di Internet, c'erano centinaia di aziende e organizzazioni che creavano un'infrastruttura software destinata a fornire una piattaforma comune per supportare un ambiente di elaborazione altamente distribuito.

Tuttavia, ogni fornitore o organizzazione di standard ha presentato le proprie chiamate a procedure remote (RPC) che tutti i clienti, sviluppatori di software commerciali e partner avrebbero dovuto adottare e supportare. RPC è un meccanismo primitivo utilizzato per inviare il lavoro a un computer remoto e in genere richiede l'attesa del completamento del lavoro remoto prima che altri lavori possano continuare.

Con i venditori che implementavano RPC proprietari, divenne poco pratico immaginare che una qualsiasi azienda sarebbe stata in grado di creare uno standard universale per il calcolo distribuito. Verso la metà degli anni '90, i protocolli Internet hanno sostituito questi approcci primitivi e sono diventati il ​​fondamento di ciò che è oggi il calcolo distribuito. Dopo che questo fu risolto, gli usi di questo approccio all'elaborazione in rete iniziarono a prosperare.