1. Gigalight CommunityHome
  2. Blog
  3. Technologies

Warum die meisten HPC-Systeme die InfiniBand-Verbindung verwenden

Neben dem bekannten Ethernet gibt es viele andere Kategorien von Netzwerkarchitekturen. Bei serverseitigen Verbindungsszenarien wird die InfiniBand (IB) -Technologie aufgrund ihrer inhärenten Merkmale geschätzt und verwendet. Es hat eine fast beherrschende Stellung, insbesondere im Bereich Hochleistungsrechnen (HPC), Speicher für große Rechenzentren und in anderen Szenarien. Was ist der Unterschied zwischen IB und Ethernet? Warum verwenden die meisten HPC-Systeme IB-Verbindungen?

Was ist InfiniBand und wo wird es verwendet?

IB ist eine Kabelvermittlungstechnologie, die mehrere gleichzeitige Verbindungen unterstützt. Sie ist der E / A-Standard der Serverhardwareplattform der neuen Generation. Mit der schnellen Entwicklung der CPU-Leistung ist die Leistung des E / A-Systems zu einem Engpass geworden, der die Leistung der Server einschränkt. Die in der Vergangenheit verwendete PCI-Bus-Architektur entspricht nicht dem neuen Anwendungstrend. Um die inhärenten Nachteile von PCI zu überwinden, haben Intel, Cisco, Compaq, EMC, Fujitsu und andere Unternehmen gemeinsam die IB-Architektur eingeführt, deren Kern darin besteht, das E / A-System vom Server-Host zu trennen. Derzeit können nur wenige Unternehmen wie Mellanox, Intel, Qlogic IB-Produkte anbieten. Mellanox ist führend. Kürzlich haben sie den ersten HDR 200G InfiniBand-Supercomputer an der Universität von Michigan installiert.

Die grundlegenden Protokolle von InfiniBand

Die grundlegenden Protokolle von InfiniBand


Die obige Abbildung zeigt die grundlegenden Protokolle des IB. Wie wir sehen können, nehmen die IB-Protokolle eine hierarchische Struktur an, einschließlich des oberen Protokolls, der Transportschicht, der Netzwerkschicht, der Verbindungsschicht und der physikalischen Schicht. Jede Schicht ist unabhängig voneinander, und die untere Schicht stellt Dienste für die obere Schicht bereit, die dem TCP / IP-Protokoll ähnlich sind. Im Gegensatz zu Ethernet, das in der Netzwerkkommunikation auf hoher Ebene verwendet wird, wird InfiniBand hauptsächlich in Kommunikationsszenarien auf niedriger Ebene für die Eingabe / Ausgabe verwendet. Wie am Anfang dieses Artikels erwähnt, hat die IB-Architektur die Aufgabe, die Leistung der serverseitigen Eingabe / Ausgabe zu verbessern, auch wenn Ethernet die Geschwindigkeit eines IB-Netzwerks erreicht oder überschreitet. IB ist unter den Bedingungen einer Netzwerkkommunikation auf niedriger Ebene unersetzbar. Darüber hinaus sind der Übertragungsmodus und die Medien von IB recht flexibel. Es kann durch Kupferdrahtfolie von der Leiterplatte in das Gerät übertragen und durch DAC oder AOC zwischen dem Gerät verbunden werden.

Bill Lee, Co-Vorsitzender der InfiniBand Industry Association Working Group, sagte: „Das Ziel von InfiniBand ist die Verbesserung der Kommunikation zwischen Anwendungen.“ Die IB-Technologie umfasst nicht nur Chips und Hardware, sondern auch Software. Hardware und Software müssen vollständig in die Betriebssystem-, Verwaltungs- und Anwendungsebene integriert sein, damit sie ihre ordnungsgemäße Rolle spielen können.

Warum HPC Data Centers? Wählen Sie InfiniBand

Addison Snell, CEO von Intersect360 Research, erklärte: „InfiniBand ist gewachsen und jetzt die bevorzugte Lösung für die Hochleistungs-Speicherverbindung in HPC-Systemen. Gegenwärtig nehmen die Anwendungen mit hohem Datendurchsatz wie Datenanalyse und maschinellem Lernen rapide zu, und die Nachfrage nach Verbindungen mit hoher Bandbreite und geringer Verzögerung wächst auch auf einen breiteren Markt. “

Offensichtlich besteht unsere Hauptaufgabe derzeit und in Zukunft darin, die Probleme der Wissenschaft und Datenanalyse zu lösen, die eine sehr hohe Bandbreite zwischen Rechenknoten, Speicher- und Analysesystemen in unserem Rechenzentrum erfordern und so eine einzige Systemumgebung bilden. Darüber hinaus ist die Latenz (Speicher- und Festplattenzugriffslatenz) ein weiterer Leistungsfaktor für HPC. Der Grund, warum HPC-Rechenzentren sich für ein IB-Netzwerk entscheiden, ist daher, dass es die Anforderungen einer hohen Bandbreite und einer geringen Latenz erfüllen kann.

IB ist derzeit die bevorzugte Verbindung zwischen HPC- und AI-Infrastrukturen, und die Geschwindigkeit steigt auch von SDR, DDR, QDR zu HDR. Die berühmte Mellanox-InfiniBand-Lösung verbindet die meisten Top-500-Supercomputer und wird auch mit der Planung der NDR-400G-InfiniBand-Technologie beginnen, um zukünftige E-Level-Supercomputer- und maschinelle Lernplattformen zu unterstützen. In Bezug auf die Verzögerung ermöglicht uns die RDMA-Technologie (Remote Direct Memory Access) den direkten und Remote-Zugriff auf Daten im gesamten Netzwerk und kann das Problem der serverseitigen Datenverarbeitungsverzögerung bei der Netzwerkübertragung lösen. RDMA überträgt Daten über das Netzwerk direkt in den Speicherbereich des Computers, verschiebt Daten von einem System schnell in den Remotesystemspeicher, realisiert Zero Copy, entlastet die CPU auf der Hostseite und verringert die Verzögerung der Datenverarbeitung auf dem Host von Hunderten von Mikrosekunden in Nanosekunden.

Darüber hinaus bietet IB die Vorteile eines einfachen Protokollstapels, einer hohen Verarbeitungseffizienz und einer einfachen Verwaltung. Im Gegensatz zur hierarchischen Topologie von Ethernet ist InfiniBand eine flache Struktur, dh jeder Knoten hat eine direkte Verbindung zu allen anderen Knoten. Verglichen mit dem TCP / IP-Netzwerkprotokoll verwendet IB vertrauensbasierte Mechanismen zur Flusskontrolle, um die Integrität der Verbindung sicherzustellen, und Datenpakete gehen selten verloren. Nach der Datenübertragung sendet der Empfänger ein Signal, um die Verfügbarkeit des Pufferplatzes anzuzeigen. Daher eliminiert das IB-Protokoll die Verzögerung des erneuten Sendens aufgrund des Verlusts der ursprünglichen Datenpakete, wodurch die Leistung des Protokolls verbessert wird. Effizienz und Gesamtleistung werden verbessert. In Anbetracht des Problems der Signalverzerrung bei der Übertragung von Ultrahochgeschwindigkeits-Lichtwellenleitern überträgt IB außerdem Datensignale in der Lichtleitfaser unterschiedlich und fügt am Empfangsende einen Filter hinzu, um das Signalrauschen herauszufiltern, wodurch die Signalintegrität vollständig gewährleistet wird des Verbindungsnetzes.

Schlussfolgerung

InfiniBand ist eine einheitliche Verbindungsstruktur, die sowohl Speicher-E / A als auch Netzwerk-E / A und Interprozesskommunikation (IPC) verarbeiten kann. Es kann Festplatten-Arrays, SANs, LANs, Server und Clusterserver miteinander verbinden, eine Übertragung mit hoher Bandbreite und geringer Latenz über relativ kurze Entfernungen bieten und redundante E / A-Kanäle in einem oder mehreren Internet-Netzwerken unterstützen, sodass Rechenzentren auch lokal arbeiten können Fehler treten auf. Insbesondere in Zukunft, wenn der interne Datenverkehr des HPC-Rechenzentrums dramatisch ansteigt, verfügt InfiniBand über einen größeren Entwicklungsraum als Netzwerkverbindungstechnologie, die zwischen Servern eingesetzt wird.

Dies ist ein Originalartikel von Gigalight. Falls reproduziert, geben Sie bitte die Quelle an: https://www.gigalight.com/community/why-most-hpc-systems-use-infiniband-interconnection/

Kontaktieren Sie uns

E-Mail: sunwf@gigalight.com