Perché la maggior parte dei sistemi HPC utilizza l'interfaccia InfiniBand
Data: 2018-11-26 Autore:Gigalight 7971
Oltre alla ben nota Ethernet, ci sono molte altre categorie di architettura di rete. Per gli scenari di connessione lato server, la tecnologia InfiniBand (IB) è valutata e utilizzata per le sue caratteristiche intrinseche. Ha una posizione quasi dominante, in particolare nell'High-Performance Computing (HPC), nell'archiviazione di grandi data center e in altri scenari. Quindi qual è la differenza tra IB e Ethernet? Perché la maggior parte dei sistemi HPC utilizza l'interconnessione IB?
Cosa è InfiniBand e dove viene utilizzato
IB è una tecnologia di "commutazione via cavo" che supporta più connessioni simultanee ed è lo standard I / O della piattaforma hardware di server di nuova generazione. Con il rapido sviluppo delle prestazioni della CPU, le prestazioni del sistema I / O sono diventate un collo di bottiglia che limitava le prestazioni dei server. L'architettura del bus PCI utilizzata in passato non è conforme alla nuova tendenza dell'applicazione. Per superare gli svantaggi intrinseci del PCI, Intel, Cisco, Compaq, EMC, Fujitsu e altre società hanno lanciato congiuntamente l'architettura IB, il cui nucleo è separare il sistema I / O dall'host del server. Al momento solo poche aziende, come Mellanox, Intel, Qlogic, possono fornire prodotti IB. Mellanox è nella posizione di leader. Di recente, hanno installato il primo supercomputer InfraBand HDR 200G presso l'Università del Michigan.
I protocolli di base di InfiniBand
I protocolli di base di InfiniBand
La figura sopra mostra i protocolli di base dell'IB. Come possiamo vedere, i protocolli IB adottano una struttura gerarchica, tra cui protocollo superiore, livello di trasporto, livello di rete, livello di collegamento e livello fisico. Ogni livello è indipendente l'uno dall'altro e il livello inferiore fornisce servizi per il livello superiore, che è simile al protocollo TCP / IP. Diversamente da Ethernet, che viene utilizzato nelle comunicazioni di rete di alto livello, InfiniBand viene utilizzato principalmente in scenari di comunicazione input / output di basso livello. Come accennato all'inizio di questo articolo, l'architettura IB ha la missione di migliorare le prestazioni input / output lato server, anche se Ethernet raggiunge o supera la velocità della rete IB, IB è insostituibile nella condizione di comunicazione di rete di basso livello. Inoltre, la modalità di trasmissione e i media di IB sono abbastanza flessibili. Può essere trasferito da una lamina di filo di rame del circuito stampato nell'apparecchiatura e interconnesso tra DAC o AOC tra l'apparecchiatura.
Bill Lee, co-presidente del gruppo di lavoro della InfiniBand Industry Association, ha dichiarato: "L'obiettivo di InfiniBand è migliorare la comunicazione tra le applicazioni." La tecnologia IB include non solo chip e hardware, ma anche software. Per svolgere il proprio ruolo, l'hardware e il software devono essere pienamente integrati nel sistema operativo, nel livello di gestione e di applicazione.
Perché i data center HPC scelgono InfiniBand
Addison Snell, CEO di Intersect360 Research, ha sottolineato che "InfiniBand è cresciuto ed è ora la soluzione preferita per l'interconnessione di storage ad alte prestazioni nei sistemi HPC Attualmente le applicazioni di un elevato throughput di dati come l'analisi dei dati e l'apprendimento automatico si stanno espandendo rapidamente, e la richiesta di una larghezza di banda elevata e un'interconnessione a basso ritardo si sta espandendo anche a un mercato più ampio ".
Ovviamente, la nostra direzione principale al momento e in futuro è risolvere i problemi della scienza e dell'analisi dei dati, che richiede una larghezza di banda molto elevata tra i nodi di calcolo, i sistemi di archiviazione e analisi nel nostro data center, formando così un unico ambiente di sistema. Inoltre, la latenza (memoria e latenza dell'accesso al disco) è un'altra misura di prestazioni di HPC. Pertanto, il motivo per cui i data center HPC scelgono di utilizzare la rete IB è che può soddisfare i requisiti di larghezza di banda elevata e bassa latenza.
Attualmente IB è l'interconnessione preferita tra le infrastrutture HPC e AI e anche la velocità aumenta, da SDR, DDR, QDR a HDR. La famosa soluzione Mellanox InfiniBand collega la maggior parte dei supercomputer Top 500, e inizieranno anche a progettare la tecnologia NDR 400G InfiniBand per supportare future piattaforme di supercalcolo e di apprendimento automatico a livello E. In termini di ritardo, la tecnologia RDMA (Remote Direct Memory Access) ci consente di accedere ai dati direttamente e da remoto in tutta la rete e può risolvere il problema del ritardo nell'elaborazione dei dati lato server nella trasmissione di rete. RDMA trasferisce i dati direttamente nell'area di archiviazione del computer attraverso la rete, trasferisce rapidamente i dati da un sistema alla memoria del sistema remoto, realizza Zero Copy, rilascia il carico della CPU sul lato host e riduce il ritardo dell'elaborazione dei dati nell'host da centinaia di microsecondi a nanosecondi.
Inoltre, IB offre i vantaggi del semplice stack di protocollo, elevata efficienza di elaborazione e gestione semplice. A differenza della topologia gerarchica di Ethernet, InfiniBand è una struttura piatta, il che significa che ogni nodo ha una connessione diretta a tutti gli altri nodi. Rispetto al protocollo di rete TCP / IP, IB utilizza un meccanismo basato sul trust e il controllo del flusso per garantire l'integrità della connessione e i pacchetti di dati vengono raramente persi. Dopo la trasmissione dei dati, il ricevitore restituisce un segnale per indicare la disponibilità dello spazio del buffer. Pertanto, il protocollo IB elimina il ritardo della ritrasmissione a causa della perdita dei pacchetti di dati originali, migliorando così le prestazioni del protocollo. Efficienza e prestazioni generali sono migliorate. Inoltre, considerando il problema della distorsione del segnale nella trasmissione di fibre ottiche ad altissima velocità, IB trasmette i segnali di dati in modo diverso nella fibra ottica e aggiunge un filtro all'estremità ricevente per filtrare il rumore del segnale, che garantisce pienamente l'integrità del segnale della rete di connessione.
Conclusione
InfiniBand è una struttura di interconnessione unificata in grado di gestire sia I / O di archiviazione, I / O di rete e comunicazione interprocesso (IPC). Può interconnettere array di dischi, SAN, LAN, server e server di cluster, fornire elevata larghezza di banda e trasmissione a bassa latenza su distanze relativamente brevi e supportare canali I / O ridondanti in una o più reti Internet, in modo che i data center possano ancora funzionare quando locali si verificano errori. Soprattutto in futuro, quando il traffico interno del data center HPC aumenta drasticamente, InfiniBand avrà uno spazio di sviluppo più ampio come tecnologia di connessione di rete applicata tra i server.