Broadcomは、ネットワークの混雑をリアルタイムで解消するために訓練可能な新しいオンチップ・ニューラルネットワーク推論エンジン「NetGNT（Networking General-purpose Neural-network Traffic-analyzer）」を発表した。このNetGNTは同社の新しいTrident 5-X12チップに組み込まれ、標準的なパケット処理パイプラインに並行して動作し、チップ全体のトラフィックパターンを認識する能力を備えている。

Broadcomによると、通常のスイッチASICは、チップのポートとバッファを通過する際に一度に1つのパケットしか見ることができない。しかし、NetGNTは、対照的に、ML（機械学習）推論エンジンとして機能し、AI/MLワークロードで一般的な「incast」というトラフィックパターンをリアルタイムで認識し、ネットワーク性能の低下を回避するための渋滞制御技術を実行できる。

また、トラフィック管理に限らず、テレメトリーとネットワークセキュリティの向上にも使用できるという。

さらに重要なことに、チップメーカーは、これが完全にハードウェアでフルラインレートで行われるため、スループットやレイテンシーに影響はないとのことだ。

BroadcomのコアスイッチンググループのシニアバイスプレジデントであるRam Velaga氏は、「市場に新しい技術を導入し続ける一方で、顧客のニーズを非常に重視しています。彼らは、さまざまな用途にカスタマイズされたチップの幅広いポートフォリオを提供することを期待しています」と述べている。

シリコンに関して言えば、Trident 5-X12は、プログラム可能性の高いトップオブラック（ToR）スイッチとしては比較的高速な部品である。スピードとフィードについて詳しく見ると、このチップは約16Tbpsの帯域幅となる。Trident 4-X9の倍の性能を誇る。

この帯域幅は、標準の100G PAM4シリアライザー/デシリアライザーによって分割され、幅広いポート構成が可能である。

この構成は、AIコンピュートクラスターに特化しているように思われる。これらの環境では、アクセラレータが非常に帯域幅を要求するため、ネットワーキングはすぐにボトルネックになり得る。そのため、各GPUに200-400Gbpsの専用NICをペアリングするのが一般的である。Broadcomによると、この構成は約6つのGPUノードにそれぞれ8つのアクセラレータとNICを備えた200Gbpsを提供することができる。

スイッチの高いスループットに加えて、Broadcomは、この世代の400Gbpsポートあたりの電力効率が約25％低いことも強調している。

新しいチップは現在「選ばれた顧客」に出荷されているが、このシリコンを搭載した最初のスイッチが市場に出るまでにはしばらく時間がかかるだろう。

AIネットワーキングの競争は激化している。ネットワーキングスイッチやASICは、NVIDIAのH100、AMDのMI300A/X、またはIntelの今後のHabana Gaudi 3のようなアクセラレータほど魅力的ではないかもしれないが、AIデータセンターにおいては不可欠な部分である。Cisco、Broadcom、NVIDIAなどのネットワーキングベンダーは、混雑とレイテンシーを軽減するために、AI最適化ネットワーキングギア、スイッチ、DPU、そして今ではsuperNICを積極的に推進している。

Source

Broadcom: Broadcom Introduces Industry’s First Switch With On-Chip Neural Network