Perché la maggior parte dei sistemi HPC utilizza InfiniBand interconnessione

Data: 2018-11-26 Autore: Gigalight 22718 tag: HPC , InfiniBand , Banca dati

Oltre alla ben nota Ethernet, ci sono molte altre categorie di architettura di rete. Per gli scenari di connessione lato server, InfiniBand La tecnologia (IB) è apprezzata e utilizzata per le sue caratteristiche intrinseche. Ha una posizione quasi dominante, soprattutto nell'High-Performance Computing (HPC), nell'archiviazione di grandi data center e in altri scenari. Allora qual è la differenza tra IB ed Ethernet? Perché la maggior parte dei sistemi HPC utilizza l'interconnessione IB?

Che cosa InfiniBand È e dove viene utilizzato

IB è una tecnologia di "commutazione via cavo" che supporta più connessioni simultanee ed è lo standard I / O della piattaforma hardware del server di nuova generazione. Con il rapido sviluppo delle prestazioni della CPU, le prestazioni del sistema I / O sono diventate un collo di bottiglia che limita le prestazioni dei server. L'architettura del bus PCI utilizzata in passato non è conforme alla nuova tendenza delle applicazioni. Per superare gli inconvenienti intrinseci di PCI, Intel, Cisco, Compaq, EMC, Fujitsu e altre società hanno lanciato congiuntamente l'architettura IB, il nucleo della quale è separare il sistema I / O dal server host. Al momento, solo poche aziende, come Mellanox, Intel, Qlogic, possono fornire prodotti IB. Mellanox è in prima posizione. Recentemente, hanno implementato il primo HDR 200G InfiniBand supercomputer presso l'Università del Michigan.

I protocolli di base di InfiniBand

I protocolli di base di InfiniBand

La figura sopra mostra i protocolli di base dell'IB. Come possiamo vedere, i protocolli IB adottano una struttura gerarchica, che include protocollo superiore, livello di trasporto, livello di rete, livello di collegamento e livello fisico. Ogni livello è indipendente l'uno dall'altro e il livello inferiore fornisce servizi per il livello superiore, che è simile al protocollo TCP / IP. A differenza di Ethernet, utilizzato nella comunicazione di rete di alto livello, InfiniBand viene utilizzato principalmente in scenari di comunicazione input / output di basso livello. Come accennato all'inizio di questo articolo, l'architettura IB ha la missione di migliorare le prestazioni di input / output lato server, anche se Ethernet raggiunge o supera la velocità della rete IB, IB è insostituibile nelle condizioni di comunicazione di rete di basso livello. Inoltre, la modalità di trasmissione e i media di IB sono piuttosto flessibili. Può essere trasferito da un foglio di filo di rame del circuito stampato nell'apparecchiatura e interconnesso da DAC o AOC tra le apparecchiature.

Come Bill Lee, co-presidente del InfiniBand Industry Association Working Group, ha dichiarato: "L'obiettivo di InfiniBand è migliorare la comunicazione tra le applicazioni. "La tecnologia IB include non solo chip e hardware, ma anche software. Per svolgere il suo ruolo, l'hardware e il software devono essere completamente integrati nel sistema operativo, nella gestione e nel livello dell'applicazione.

Perché scegliere i data center HPC InfiniBand

Addison Snell, CEO di Intersect360 Research, ha sottolineato che "InfiniBand è cresciuta ed è ora la soluzione preferita per l'interconnessione dello storage ad alte prestazioni nei sistemi HPC. Al momento, le applicazioni di un elevato throughput di dati come l'analisi dei dati e l'apprendimento automatico si stanno espandendo rapidamente e la domanda di interconnessione a larghezza di banda elevata e basso ritardo si sta espandendo anche a un mercato più ampio ".

Ovviamente, la nostra direzione principale al momento e in futuro è risolvere i problemi della scienza e dell'analisi dei dati, che richiede una larghezza di banda molto elevata tra i nodi di calcolo, i sistemi di archiviazione e analisi nel nostro data center, formando così un unico ambiente di sistema. Inoltre, la latenza (memoria e latenza dell'accesso al disco) è un'altra misura di prestazioni di HPC. Pertanto, il motivo per cui i data center HPC scelgono di utilizzare la rete IB è che può soddisfare i requisiti di larghezza di banda elevata e bassa latenza.

IB è attualmente l'interconnessione preferita tra le infrastrutture HPC e AI e anche la velocità è in aumento, da SDR, DDR, QDR, a HDR. Il famoso Mellanox InfiniBand La soluzione collega la maggior parte dei primi 500 supercomputer e inizieranno anche a pianificare NDR 400G InfiniBand tecnologia per supportare le future piattaforme di supercalcolo e apprendimento automatico di livello E. In termini di ritardo, la tecnologia RDMA (Remote Direct Memory Access) ci consente di accedere ai dati direttamente e da remoto attraverso la rete e può risolvere il problema del ritardo nell'elaborazione dei dati lato server nella trasmissione di rete. RDMA trasferisce i dati direttamente all'area di archiviazione del computer attraverso la rete, sposta i dati da un sistema alla memoria del sistema remoto rapidamente, realizza Zero Copy, rilascia il carico della CPU sul lato host e riduce il ritardo dell'elaborazione dei dati nell'host da centinaia di microsecondi in nanosecondi.

Inoltre, IB presenta i vantaggi di un semplice stack di protocollo, un'elevata efficienza di elaborazione e una gestione semplice. A differenza della topologia gerarchica di Ethernet, InfiniBand è una struttura piatta, il che significa che ogni nodo ha una connessione diretta a tutti gli altri nodi. Rispetto al protocollo di rete TCP / IP, IB utilizza un meccanismo di controllo del flusso e basato sulla fiducia per garantire l'integrità della connessione e raramente i pacchetti di dati vengono persi. Dopo la trasmissione dei dati, il ricevitore restituisce un segnale per indicare la disponibilità dello spazio buffer. Pertanto, il protocollo IB elimina il ritardo della ritrasmissione dovuto alla perdita dei pacchetti di dati originali, migliorando così le prestazioni del protocollo. L'efficienza e le prestazioni complessive sono migliorate. Inoltre, considerando il problema della distorsione del segnale nella trasmissione in fibra ottica ad altissima velocità, IB trasmette segnali di dati in modo diverso nella fibra ottica e aggiunge un filtro all'estremità ricevente per filtrare il rumore del segnale, che garantisce completamente l'integrità del segnale della rete di connessione.

Conclusione

InfiniBand è una struttura di interconnessione unificata in grado di gestire sia l'I / O di archiviazione, I / O di rete che la comunicazione tra processi (IPC). Può interconnettere array di dischi, SAN, LAN, server e server cluster, fornire una larghezza di banda elevata e una trasmissione a bassa latenza su distanze relativamente brevi e supportare canali I / O ridondanti in reti Internet singole o multiple, in modo che i data center possano ancora funzionare quando sono locali si verificano errori. Soprattutto in futuro, quando il traffico interno del data center HPC aumenterà notevolmente, InfiniBand avrà uno spazio di sviluppo più ampio come tecnologia di connessione di rete applicata tra i server.

Chi Siamo GIGALIGHT

GIGALIGHT è un innovatore globale di design di interconnessione ottica che progetta, produce e fornisce ricetrasmettitori ottici, cavi ottici attivi e moduli ottici coerenti per rete di data center, rete wireless 5G, rete di trasmissione ottica e rete di trasmissione video. L'azienda sfrutta i vantaggi del design esclusivo per fornire ai clienti dispositivi di rete ottici one-stop economici.