MK-61s: ускоряем инференс модели

На фотографии показан микроконтроллер MK61 с подключённым USB-кабелем и горящими светодиодами.
Плата Sipeed Tang Nano 20K, подключенная двумя проводами к «ПикоКалку»

Я везде по квартире хожу с ноутбуком, к которому прицеплены через ЮСБ «ПикоКалк» и «MK-61s Classic» — чтобы нейросеть могла обкатывать задания, которые я ей даю, на оборудовании. Жена называет эти устройства «детишками», так как они ходят за папой-ноутбуком, как привязанные.

Теперь и у «ПикоКалка» появился ребёнок — к нему через пару проводов подключена плата «Sipeed Tang Nano 20K». Она должна помочь «ПикоКалку» быстрее выполнять инференс модели, которую я обучаю писать код в командах калькулятора «Электроника МК-61».

Лучший результат на самом «ПикоКалке» — 0,225 секунды на токен на моём эталонном коротком тесте. Думаю, тут дальше не продвинуться. Математика уже выверена, ядро разогнано, «Кортекс М3» как сопроцессор использовать не удаётся — шина слишком узкая, а своей памяти у него всего 20 килобайт, не разгуляешься.

Поэтому для интереса приобрёл эту плату с ПЛИСом. Посмотрим что нейросеть сможет выжать из неё. Первый прогон показал скорость 0,3 секунды на токен, что даже хуже, чем на «ПикоКалке», с другой стороны, там скорость на первом прогоне была вообще 28 секунд на токен.