В конце 90-х был относительно популярен класс программ, который сейчас, кажется не встретишь. Не уверен, что у него есть какое-то официальное название, но чтобы как-то его называть, назову его «виртуальные компаньоны».

При запуске такие программы чаще всего отображали какое-то интерактивное животное — котёнка, который прыгал по вашим окнам или тараканов, которые прятались за ними.

Не то, чтобы я по таким приколам скучал, но время от времени их вспоминаю, непонятно почему. Даже была мысль попробовать написать что-то своё. Но своими руками написать что-то подобное я не сподобился, зато, когда на днях вышла сеть «Опус 4.7», я решил попробовать посмотреть на неё именно на такой задаче.

Я решил создать небольшой мирок в браузере, который будет жить на моей страничке. Я думал о нескольких пиксельных, стилизованных под старые игры персонажей, которые будут взаимодействовать с друг другом — разговаривать диалогами, которые будет для них генерировать цепь Маркова.

В процессе написания идея модифицировалась — персонажи поселились на полоске внизу страницы, у них появились враги и некоторая специализация. Всё это полностью сделано «Опусом», я только направлял, тестировал и давал идеи.

Технически всё упаковано в одну картинку (так оказалось эффективнее) из которой читается и код, и спрайты, и вероятности перехода между состояниями для цепей Маркова.

Иногда попадается зеркально отображённое видео — я думаю, таким образом залитые ролики пытаются скрыть от правообладателей. Мне в какой-то момент надоело смотреть видео в таком виде, и я написал для себя однострочник, которым хочу поделиться.

Его надо выполнять в консоли браузера, которая вызывается через «Инструменты разработчика».

document.querySelectorAll('*,iframe').forEach(e=>(e?.shadowRoot||e).
querySelectorAll('video').forEach(v=>v.style.transform = 'scaleX(-1)'))

Как знают мои постоянные читатели, я люблю бывать на различных заброшенных объектах. В мае 2023 года мы с другом, таким же любителем, ездили в одно из сёл по наводке — там стоит целый комплекс заброшек, который был когда-то каким-то учебным учреждением.

Самое интересное там — библиотека, книги в которой из-за протекающей крыши постепенно превращаются в плесневелую кашу. Несколько штук, которые были в более-менее приличном состоянии, мы взяли, но большинство там либо уже сгнили, либо нам без надобности — вроде издания сочинений Ленина.

Кроме книг я взял ещё коробочку со слюдой из одного из кабинетов — показать дочке, что это такое, и одну из киноплёнок для своего давнего приятеля, которого знаю сто лет. Он киномеханик, поэтому я ему взял киноплёнку «Борьба за всеобщую грамотность» 1947 года.

С тех пор мы что-то с ним никак не пересечёмся, но недавно он написал мне, что собирается на днях заехать, и я решил сфотографировать плёнку, пока она от меня не уехала, просто на память.

Мы в конце мая в отпуск собрались, времени ещё предостаточно, но начинаем потихоньку вспоминать и докупать то, что нам с собой надо взять в поездку. Жена вспомнила, что у нас все внешние аккумуляторы уже сильно потеряли в ёмкости и надо бы приобрести новые.

А я тут как раз у какого-то техноблогера видел тонкие и лёгкие аккумуляторы от компании «Сяоми» — я заинтересовался, но брать не стал, потому что и не знал, что нам надо.

Но раз понадобились, купил и теперь очень рекомендую, они просто отличные! А если у вас есть в смартфоне магнитное кольцо, то они умеют к нему магнититься и отдавать энергию по беспроводу.

Я из-за размера подумал, что это аккумулятор нового вида — кремний-углеродный, но нигде не нашёл этому подтверждения и уже было расстроился. Но оказалось — зря: один из читателей на немецком сайте «Сяоми» вычитал, что это действительно так — он кремний-углеродный!

Один из бывших коллег, который следит за моими перипетиями в отношении нейросетей, прочитав прошлую заметку с заголовком «Собрано на коленке», совершенно закономерно спросил меня: а что, собственно, у меня там на коленке собрано-то?

Я перечитал — и оказалось, что из-за усталости я совершенно упустил из виду, что не посвятил «коленке» ни полабзаца.

Что дашборд я стихийно собрал нейросеткой просто под эту задачу — наверное, можно догадаться, — это действительно не какой-то готовый продукт, а скрипт на «Пайтоне», написанный нейросеткой, входящей в мою подписку. Как я сказал, учусь чаще использовать более дешёвые сети, и это — одна из задач, с которой справляется собственная сеть «Курсора» — «Композер 2», а она очень простенькая.

То есть он вполне «собран на коленке».

Но ещё более наколеночно устроен деплой, то есть развёртывание новых гипотез на подключённых мощностях. По сути, это россыпь документации плюс шелл-скрипты, срабатывающие на хуки при коммите. Всё, опять же, написано вайбкодингом, в основном, тремя сетями: всё простое я поручал «Композеру 2», сложнее — «Кодексу 5.3», ещё сложнее — «ГПТ 5.4».

Почему я не стал использовать что-то готовое? А зачем? Надо было быстро, у меня не было времени сравнивать решения, выбирать лучшее под задачу (машины доступны только по ssh, друг друга не видят, перекачивать информацию можно только через мой ноубук), но главное — разбираться, если возникнут проблемы.

В этом мире вайбкоженой шелл-рассыпухи при возникновении проблем я просто даю приказ с ними разобраться.

Кстати, вот ещё вывод, в добавление к тому, что я писал в прошлый раз: иногда надо давать ИИ приказы! Это не вполне очевидно.

Например, когда я давал указание занять GPU0 на одной из машин, нейросеть могла сделать то, чего я не ожидал. Например, увидев, что память там почти занята, поставить задачу в цикл ожидания освобождения памяти. Мне это не нужно — я понимал, что задача поместится, и ставил её туда сознательно.

Реальный случай, кстати. И таких примеров у меня было несколько.

Когда же я начинал с «приказываю», сетка подчинялась сразу, без всей этой излишней в данном случае осторожности.

Может, видели такую штуку, как «навесной монтаж» — когда люди собирают схемы не на печатной плате, а напаивают их одну на другую в воздухе? Я такое в детстве делал часто: много паял, а когда надо что-то быстро протестировать — ни времени, ни смысла делать печатную плату и паять на неё нет.

Я последние несколько дней занимаюсь похожей штукой. Ну или мне кажется, что это примерно одно и то же.

В четверг я начал по вечерам заниматься одной из рабочих задач по обучению, в первый день даже лёг спать в третьем часу ночи — всё казалось, что вот-вот, но немного неожиданно всё растянулось, и эксперименты стали давать плоды только в воскресенье. Зато всё прыгнуло на несколько десятков пунктов сразу — сказался кумулятивный эффект накопления экспериментальных проверок.

В проверке гипотез мне помогает курсор и куча оборудования — я оккупировал под свои цели три ускорителя H100 и три RTX 6000 Pro. Благо вечерами нагрузки никакой, а часть из этого оборудования вообще пока простаивает. Чтобы видеть куда и какие эксперименты пускать, я написал себе дашборд. При помощи тех же нейросетей, разумеется.

На скриншоте видно плохо, потому что дашборд с панелью «Курсора» выведены на 6К-монитор, поэтому немного расскажу. На дашборде я вижу текущее оборудование, включая ЦПУ, где кое-какие эксперименты тоже можно ставить — на одной из машин 190 ядер, а под оборудованием — текущие эксперименты и цифры по ним.

Всё обновляется в реальном времени.

Если прокрутить ниже, будет ещё один блок экспериментов, план запусков и блок, написанный «Квеном 3.5-35» в виде отчёта научного руководителя эксперимента. Кстати, краткие описания к запускам в таблице оборудования тоже генерируются им на лету.

А теперь пара выводов.

Во-первых, прежде чем что-то улучшать, неплохо бы повторить опорные результаты у себя, а не надеяться, что сразу получится лучше. Мне бы это пару вечеров сэкономило, я думаю.

Во-вторых, данные надо просить перепроверять, а если есть какие-то интуитивные сомнения, что нейросетка правильно поняла задачу, просить её пересказать. Эта нехитрая мудрость мне тоже обошлась в несколько часов экспериментов, которые пошли не туда.

Заключительная книга трилогии «Люди как боги» Снегова что-то туго идёт. Написано как будто с той же фантазией, но как-то вымучено, поэтому и себя приходится заставлять. Я бы бросил, но хочется узнать чем всё-таки дело кончится.

Эта книжка — пока сплошное разочарование. Я только недавно похвалил серию, что в ней нет, ну знаете, этих нелепых описаний компьютеров из книг прошлого века — когда межзвёздные перелёты соседствуют с перфокартами, так буквально на следующий день натыкаюсь:

Я с любопытством смотрел, как в окошке вычислительной машинки, по клавишам которой выстукивала Ольга свои вопросы, выстраивались колонки восьмизначных цифр.

Окошко вычислительной машинки, цифры? Да и клавиши через пять веков от нашего времени? Это что, программируемый калькулятор?

А медицина будущего?

Ангелу прописали все виды лечения и все роды лекарств, от радиационных душей до слабительного и банок, но было ясно, что дни его сочтены.

У этого создания очень специфичное органическое поражение тканей, связанное с попаданием в пространство с изменённой топологией, а ему — слабительное и банки? Что?

Перестаёшь верить в то, что читаешь, мир рассыпается, начинаешь скучать. В общем, книжку я дожму, но без удовольствия.

Я как-то, сильно увлёкшись программирующими нейросетками, не слишком приглядывался к другим направлениям, или, как сейчас принято говорить, «модальностям». Одно время было интересно, как и всем, наблюдать, как сети генерируют картинки, но сейчас я к этому отношусь очень утилитарно и использую их в основном для обработки фотографий. А сгенерированные картинки просто удручают своей стилистической однообразностью.

Музыка и песни, генерируемые нейросетями, привлекали своей необычностью лет десять назад, но сейчас уже как-то не интересны. Видео меня тоже как-то не поражают, видимо, потому что 95-й процентиль всего, что попадается на глаза, — трижды переваренный кал.

В общем, я при помощи нейросетей много работаю с текстами разной природы, а к остальному в основном глух.

Поэтому я как-то пропустил, что небольшая по нынешним временам сетка — «Квен 3.5» с 35 миллиардами параметров, квантованных до FP8, — оказывается, прекрасно распознаёт русский рукописный текст. Я просто не изучал, на что способны современные мультимодальные нейросети!

Я-то думал, что весь нейросеточный мир, помешанный на английском и говорящий в основном на китайском, с рукописным русским научится справляться ещё не скоро.

В общем, я глазам не поверил, когда мы попробовали вышеупомянутым «Квеном» распознать текст на фотографии: распозналось всё идеально, причём сеть ещё и ошибки поправила (правда, не уверен, что это хорошо). Понимаю, это не самый непонятный почерк, но этот листок — наш первый эксперимент.

Потом мы ещё много экспериментировали, но сказать, что я читаю рукописный текст значительно лучше нейросети, значило бы соврать. Мне иногда помогает более широкий контекст: например, я знаю татарские имена, а «Квену» они плохо знакомы, и он может их перевирать, если они написаны не очень разборчиво.

В общем-то удивительно, что нейросеть, которую можно запустить даже на некоторых современных ноутбуках, уверенно читает даже слово «шиншилла», записанное рукописным письмом.

Данные не реальные, этот текст написала от балды одна из наших сотрудниц, но я всё равно на всякий случая закрасил некоторые данные

Добавлено позднее: уже позже, ближе к ночи я решил попробовать развернуть эту модель, квантованную до четырёх бит на своём ноутбуке, по памяти она как раз должна была влезть, — чтобы попробовать как она справится. Справилась отлично, но мне не удалось выключить режим размышлений, не нашёл такого параметра в LM Studio, где я её запускал, а с ним она работает гораздо медленнее.

Один из читателей в моём телеграмном канале написал, что у него с текстом справилась сеть «Гемма4» на смартфоне.

Купил дочке на интернет-базаре игрушку. Одноразовая, но забавная: визуализатор магнитных полей. Стоит около 200 рублей. По размеру — примерно с банковскую карточку.

Водишь им над каким-нибудь магнитом — и сразу видно, где он и какой формы. Особенно интересно разглядывать магниты в смартфонах: они там бывают довольно замысловатые. Что у него внутри, я не знаю, но, наверное, что-то вроде ферромагнитной жидкости, запаянной в пластик.

На фотографии визуализатор лежит на съёмной ручке от индукционной плиты — она магнитная, и поле этого магнита хорошо видно.

Дочка попросила установить на планшет приложение для рисования, но вот беда — у неё уже довольно старенький планшет «Хуавей», а приложение требует сервисы «Гугла». Я попробовал установить его через «GBox», которым когда-то пользовался, но не получилось: рисовалка скачивается, но не устанавливается.

На «Реддите» порекомендовали попробовать приложение «Aurora». Но тут тоже возникла проблема: нужен гугловский аккаунт, а ни в один из двух дочкиных в «Ауроре» войти не удалось — приложение просто пишет, что произошла ошибка. Думаю это из-за того, что это детские аккаунты, с ними постоянно какие-то проблемы возникают.

Решил завести новый аккаунт, раньше это было несложно, но теперь, похоже, с этим тоже проблема. При регистрации надо указать номер телефона, но на наши российские номера «Гугл» слать смс оказался — пишет «произошла ошибка».

Попробовал купить виртуальные номера в одном из сервисов, но они там, похоже, уже затёрты до дыр. Перебирал их, наверное, полчаса: почти на каждый «Гугл» отвечал, что на этот номер уже было слишком много регистраций. Парочка номеров подошла, но смски я так и не дождался.

В итоге сработал такой вариант: я зарегистрировал ящик в браузере на ноутбуке. Почему-то в этом случае мне предложили альтернативный способ — выслать код по смс на какой-то российский номер, после чего ящик успешно создался.

К сожалению с планшета войти в этот аккаунт не удалось: «Гугл» упорно отвергал только что указанный номер.

Тогда я привязал к гугловскому аккаунты другую почту в качестве резервной, и это помогло — появился новый вариант: получить код на резервную почту. После ввода полученного кода этот квест был наконец-то пройден.

Я считаю, что сингулярность наступила в феврале, просто этого пока почти никто не заметил. В феврале в доступе появилась модель, которая пишет код лучше, чем средний программист, которых я на своём веку встречал немало. Когда я её попробовал, почувствовал, как будто у меня появилась персональная команда программистов, которую я могу дёшево использовать для проверки своих гипотез.

Это кадр со мной из свежего комикса «Кибердянска»

Пошёл уже второй месяц использования, и я ошибался только в одном — это недёшево. Я привык к другим ценам. В день легко можно израсходовать больше ста долларов только на одном агенте. В рамках проверки рабочих гипотез это очень дёшево, но для хобби пока дороговато. Цены, уверен, будут падать, а пока я учусь комбинировать нейросети разных уровней.

Я помню, что в начале развития интернета было сложновато научиться гуглить любой вопрос. Звучит странно, но так и было — поначалу это не вошло в привычку, нужно было буквально перестроить себя, чтобы научиться лезть в интернет за любым ответом. До этого мы просто отпускали такие вопросы, потому что узнать ответ было негде.

Сейчас приходится перестраивать себя, чтобы не отпускать идеи в духе «а что если?», а формулировать их как задания для нейросети. Не каждая идея, конечно, достойна того, чтобы её пробовать, но определённо стоит тратить несколько часов в неделю, чтобы реализовывать многое из того, что приходит в голову. Моя папка с проектами ещё никогда не пухла так стремительно.

С нетерпением жду появления ещё более способных нейросетей. Компания «Антропик» уже что-то там анонсировала очень крутое, но пока это не в публичном доступе.

Чувствую, уже очень скоро вся отрасль перейдёт от кодирования к летсплеям по написанию кода. Бывает, я с большим интересом наблюдаю, как модель размышляет, — чаще всего для того, чтобы не прозевать момент, когда она свернёт не туда и потратит мои токены и время впустую, но иногда это прям затягивает. Осталось только придумать для этого видеоформат.

Всё это время я программировал с нейросетями, в основном с использованием самых мощных моделей, которые только доступны, но некоторое время назад решил изменить вектор. Теперь я, напротив, хочу посмотреть, на что способны более простые модели, в частности «Композер» (это дообученная открытая модель «Кими»), который входит в подписку «Курсора».

Для этого я использую свой любимый полигон — браузер «Виола». Я подыскал несколько несложных задач из разряда «найти бы место, а поправить можно за полчаса», то есть такие, где важно понять, где поправить; сама правка сложной не выглядит.

Одна из задач — дописать нестандартный тег TB, который автор так и не завершил. Судя по иллюстрациям в его недописанной книге о браузере, этот тег предназначался для разрыва таблицы: на рисунке он стоит между строкой «HTML Source / Output» и последующими. Вероятнее всего, TB расшифровывается как Table Bar.

Модель «Композер 2.0» справилась с задачей, в принципе, на «отлично» — лучше и желать нельзя. Моментально нашла место и поправила всё как надо с первой попытки. Я-то её считал совсем негодной, но нет, надо увеличить сложность задачи, посмотрим, где предел.

Интересно, кстати, что иллюстрации в книге не совпадают с реальным поведением браузера. Такое ощущение, что автор браузера их либо дорисовывал потом в редакторе, либо всё-таки был какой-то чуть более дописанный браузер, исходный код которого не сохранился.

Вчера было первое число. Я молчал, сознательно ничего не писал. День дурака, но шутить что-то не хочется, да и, вроде, это не мой день — я же не дурак. Весна началась с крайне переменчивой погоды: то жарко, то холодно. Стоило один раз одеться по солнышку, а не по термометру — схватил простуду и теперь воюю с её последствиями при помощи фурацилина.

Из-за раннего тепла распустилось что-то, на что у меня сезонная аллергия, и вот оно, прекрасное начало апреля: в носу свербит сразу и из-за аллергии, и из-за простуды.

В последнее время всё время хочется спать. То ли седативный эффект от антигистаминных, то ли общий упадок сил на фоне субфебрилитета. Хочется спать, а ещё — есть. Вся еда имеет странный привкус, надеюсь это из-за простуды. Я почти уже привык, хотя в таком состоянии всего несколько дней.

Не дай бог съем что-нибудь несвежее, подумав, что странный вкус мне просто кажется, и ко всем «радостям» добавится ещё одна.

Ну ничего, ничего… ещё одну ночь простоять, да день продержаться — и выходные! Может отосплюсь и приду в норму.

Кошелёк я недавно купил взамен старого, который успел поистрепаться. Я покупаю кошельки из эко-бумаги под настроение: не люблю долго ходить с одним и тем же. Этот купил, потому что визуально понравились картинки, — я даже особо не вглядывался что там конкретно изображено.

Когда получил его, по надписи «THE HANGED.» («Повешенный») догадался, что на кошельке изображены две карты Таро. В жизни я с ними не сталкивался, но карта «Повешенный» так часто мелькает в сериалах, что уж её-то я запомнил.

Естественно, я обратился к нейрогадалке «ЧатуГПТ», чтобы она рассказала мне, что за карты мне выпали. Вот краткое изложение:

Пара «Повешенный» + «Мир» говорит о том, что нынешняя пауза, зависание или ощущение неопределённости нужны не просто так: сейчас важно не форсировать события, а посмотреть на ситуацию по-новому, отпустить старый способ действовать и дать внутреннему процессу дозреть. Эта остановка ведёт не к тупику, а к завершению важного цикла, обретению целостности и переходу на новый уровень. Иными словами, смысл пары такой: через переосмысление и принятие временной неподвижности приходит ясный итог и правильное завершение.

Никакой «паузы» у меня сейчас, разумеется, нет, и даже за уши притянуть нечего, но посмотреть, какой символизм заложили авторы кошелька в его обложку, было интересно.

Посоветовали прочитать советскую трилогию «Люди как боги». Думаю, я её уже читал в детстве, слишком уж она известная, а я в детстве прочитал вообще всё, что мне попадалось, — спасибо двум моим друзьям, которые носили мне книги из своих обширных библиотек в обмен на возможность поиграть на компьютере.

Тем не менее, этих книг я не помню, поэтому читаю как в первый раз. Фантазия у автора — дай бог каждому, что отметили и до меня, но в повествовании столько советского пафоса, что мне даже как-то нехорошо становится, как будто ешь пересахаренные сладости.

Впрочем, у него там люди очень отдалённого будущего, почему бы им, в самом деле, и не вести себя именно так, как описывает автор?

Далек, перерисованный нейросетью близко к оригиналу

Один момент в первой книге, которую я сейчас читаю, меня заинтересовал отдельно. В какой-то момент там появляются вражеские существа, «головоглазы», и их описание до странного напоминает вымышленную расу далеков — злобных существ из сериала «Доктор Кто». Не в точности, но как будто что-то ими навеянное:

На отполированном пьедестале возвышалось нечто странное, ни на что не похожее: не то ком земли, не то раздувшаяся черепаха, не то рыцарский шлем из земных музеев. А из середины каменной опухоли вздымалась гибкая — змеиным телом — трубка, и на конце её был нарост, вроде большого огурца или ананаса. Он сверкал, этот нарост, от него отбрасывались лучи, но не как от лампочки — сплошным сиянием, а словно от тысячи колюче-ярких остриёв, как если бы он был инкрустирован драгоценными камнями и каждая грань блистала особо, — он пронзал, а не освещал лучами.

Тем более чуть дальше выясняется, что они — помесь живого организма и электроники, почти так же, как и далеки. Хотя далеки были придуманы за несколько лет до книги, я понимаю, что вряд ли автор из СССР мог смотреть малоизвестный в то время британский сериал, чтобы ими вдохновиться.

По поводу ощущения от самой книги ничего сказать пока не могу, кроме того сначала приходилось себя заставлять, я даже собирался бросить читать, но примерно к середине я втянулся и стало интересно. Если ничего не изменится, когда закончу эту книгу, планирую прочитать и оставшиеся две.

Сегодня воскресенье, и почти прошедшие выходные можно охарактеризовать словами моего бывшего коллеги и друга А. П. — «день-олень», если я правильно понимаю, что он под этим подразумевал.

Вчера меня разбудили около пяти утра, и после этого я так и не смог заснуть, что, видимо, вместе с нервным напряжением недели задало какой-то не тот настрой всем выходным.

Сегодня ночью я тоже спал не очень хорошо; снился сон на английском. Это не тот сон, где я великолепно говорю по-английски — такой мне, насколько я помню, не снился ни разу, — а тот, где мой английский именно такого уровня, как и в жизни: в принципе, я могу сказать всё, что хочу, но слова подбираю медленно и путаю времена.

Второй день чувствую себя разбитым и как-то не нахожу себе ни места, ни занятия. Одновременно ничего не хочется, но при этом хочется чем-то себя занять — и всё это на фоне какого-то упадка сил.

Человеческой части семьи дома нет — жена и дочка уехали на курсы рисования, куда ходят вместе, так что сычую с собакой и котом. Ну и с улитками, но они обычно почти никак себя не проявляют, разве что запахом.

Последние несколько часов решил занять себя просмотром разбора сюжета сериала «Секретные материалы». Когда-то мы с родителями очень любили его смотреть, доставали буквально по серии на видеокассетах. Я так его и не досмотрел: он очень длинный, и полностью посмотреть его именно на этом носителе было бы сложно. Но в душу он мне запал, и разобраться в его основной линии — занятие не хуже прочих.

Надеюсь завтра буду в норме.

Непонятно, почему почти во всех кафе приносят десерт и кофе в самом начале. Почему не в конце? Пока дождёшься основного блюда, кофе уже остынет. Неужели кто-то пьёт кофе с десертом вначале, а потом только ест, скажем, пиццу? Допускаю, что такие люди существуют, возможно, их даже большинство, но почему нельзя спросить: приносить кофе в конце или в начале?

Ребята из компании «Селектел» (большое спасибо!) дали нам на несколько дней потестировать блок графических ускорителей NVIDIA DGX B300 Supermicro HGX B300. На данный момент это одно из самых производительных решений в одном корпусе.

Для меня, как техногика, это примерно как если бы какому-нибудь любителю автомобилей предложили бесплатно покататься на топовом «Роллс-Ройсе».

Думаю, эту штуковину было совсем не просто купить, учитывая, что страна находится под санкциями, да и разместить её тоже непросто.

Блок занимает десять юнитов в стойке; его габариты — 44 × 48 × 90 сантиметров, а вес — почти полтора центнера. Внутри — восемь ускорителей B300, водяное охлаждение, а потребляет всё это хозяйство до 19 киловатт.

Добавлено позднее: оказалось, что «Селектел» нам выделили Supermicro HGX B300. Спасибо одному из читателей, указавшему на ошибку. Я не до конца исследовал вопрос.

Помимо вполне понятного желания потрогать дорогую железку, у нас есть и практическая цель — понять, как соотносятся производительность такого решения и его цена. Мы сейчас активно внедряем искусственный интеллект у наших заказчиков, поэтому нам часто важно понимать, какое оборудование нужно под конкретную нагрузку.

Именно для этого мы и делаем все тесты, о которых я тут пишу: чтобы оценить относительную производительность доступных нам решений.

Сейчас у нас нет заказчиков, которым действительно понадобилось бы настолько серьёзное оборудование. Но понимать его возможности всё равно важно — хотя бы с прицелом на будущее.

Тесты одного ускорителя B300 я уже публиковал, и из них можно сделать такой вывод.

Одна B300 примерно в 1,8 раза быстрее, чем H100 NVL. H100 NVL, в свою очередь, примерно в 1,4 раза быстрее, чем RTX 6000 Pro. Модели, которые не помещаются в память одного ускорителя, мы пока не используем, поэтому для нас прежде всего интересны результаты именно на одной карте.

Но производительность всего кластера целиком тоже хочется протестировать. Правда сравнить с другими картами эти результаты не получится: ни у одной из них нет такого объёма видеопамяти, чтобы запускать модели сопоставимого уровня.

Единственная модель из более-менее больших, которую нам удалось завести — это Qwen3.5-397B-A17B, для неё метрики ниже.

При росте параллельности с 200 до 500 общая пропускная способность увеличивается почти в полтора раза — с 14 900 до 22 200 токенов в секунду. При этом время до первого токена (P99 TTFT) ожидаемо растёт, но остаётся в пределах 24—25 секунд даже на максимальной нагрузке, а время генерации одного токена (P99 TPOT) — в районе 66 мс, что для модели на 397B параметров с разреженной архитектурой является очень достойным показателем.

К сожалению, из‑за нехватки времени мы не смогли разобраться с запуском ещё более тяжёлых моделей вроде Kimi-K2, возникли какие-то непонятные проблемы с типом FP8. Жаль не удалось это победить, очень хотелось бы посмотреть на по-настоящему тяжёлые модели.

Но и полученные цифры уже дают заказчикам ориентир: если ваша задача требует обслуживания нескольких сотен одновременных запросов к ультра‑большой LLM, DGX B300 справляется с ней без перегрева и троттлинга, сохраняя предсказуемую задержку.

Почти каждое утро, отведя дочку в школу, я прохожу мимо таблички, висящей перед входом в подземную парковку. На табличке есть слово «СТРОГО». Оно выделено красным, и, думаю, это, в частности, означает, что это слово тут не случайно. Но я совсем не понимаю, в чём была бы смысловая разница, если бы этого слова там не было.

Это что-то такое, что имеет отношение к пресловутому «у вас совсем закрыто», про которое столько пошучено ещё Задорновым? То есть, если бы слова не было, кто-то бы въехал под землю, на стоянку, надеясь, что существуют какие-то исключения?

Добавлено: читатель меня поправляет полезным комментарием:

Указание «строго» должно означать, что не действует ряд типовых исключений, которые предусмотрены для большинства запрещающих знаков и правил. Например, временный проезд, сквозной проезд, остановка, погрузка-разгрузка, посадка-высадка, неисправное ТС, машины спецслужб без спецсигналов и так далее.

А это сырые пока данные, сведённые из нескольких разных тестов по двум разным моделям — полной «Квен3-30» (A3B) и квантованная «Квен3.5-35» (A3B) на нескольких ускорителях. Самое интересное тут — B300, я про это ещё напишу подробнее отдельно.