GPU: RTX 6000 Pro vs H100 на FP8

Так, кто там у меня в комментариях в телеграмном канале спрашивал о сравнении наших графических ускорителей при работе с сетями, квантованными до FP8 (однобайтового типа с плавающей точкой)?

Табличка ниже, использовался «Квен 3.5» с 35 миллиардами параметров (A3B).

Что мы тут видим? А видим мы очень интересную штуку: оказывается, ускорители H100 бывают очень разными. Инференс нашей тестовой модели показывает, что NVIDIA H100 NVL по-прежнему превосходит RTX 6000 Pro WS примерно в полтора раза, при этом ускоритель H100 без приписки «NVL» работает примерно так же, как и RTX 6000 Pro WS, хотя обошёлся нам примерно втрое дороже.

Сравнение полноразмерного «Квена 3» я уже у себя публиковал.

Таблица сравнения производительности GPU H100 96GB NVL, H100 96GB и RTX 6000 Pro при параллельных запросах 100–500: вывод токенов/с, общее время, TTFT, TPOT, ITL в мс.

gpuИИпрограммирование

Комментарии 2

ivs № 1
Вообще-то в H100 80GB, а версии на 96GB — огромная редкость. Меня смущает, что в таблице везде H100 96GB, подозреваю, что это может быть ошибкой.