ЧатГПТ в гостях

Занимаюсь сейчас кешированием на сайте — одна из тех вещей, которую стоит отложить до реального использования движка. По мониторингу обнаружил, что у меня всё время растёт кеш одних и тех же страниц, хотя предполагалось, что для каждой страницы будет создаваться только одна копия.

Оказалось, что навайбкоженый кеш содержит один недостаток — любые GET-параметры порождают новую копию. Это, конечно, существенный дефект, который пришлось поправить, но интереснее другое — откуда берутся эти параметры?

Оказалось, что ко мне в гости захаживает бот нейросети ЧатГПТ, который обходит все ссылки, включая ссылку «ответить» в дереве комментариев. В норме она открывает при помощи ДжаваСкрипта форму ввода комментариев, но ЧатГПТ скрипты не выполняет, для него это обычная ссылка, у которой есть параметры — кому мы отвечаем, на какой комментарий и так далее. ЧатГПТ нажимает на каждую, засоряя мой кеш.

А поскольку ходит он с бешеной интенсивностью, сайт ещё и постоянно под нагрузкой — трудится, создавая кучу ненужных кешированных страниц. А я всё никак не мог понять почему у кеша такой низкий процент срабатываний.