Движок сайта: боты

Очередной бот нашёл кое-какие урлы, в которые ему не надо. Наверное надо даже спасибо сказать ботам за нагрузочное тестирование сайта

В «Регистре» (так называется мой новый движок для сайта), меня, помимо редактора, постоянно донимают боты поисковых систем, нейросетей и так далее. Я даже не подозревал сколько их развелось и с какой страшной силой они молотят весь интернет. К сожалению, некоторые из них игнорируют robots.txt и заходят даже туда, куда просишь их не ходить.

Так как у меня на сайте сменилась часть адресов из-за появления новых возможностей, боты тут же побежали туда смотреть, что же там появилось нового, создавая нагрузку на сайт. Честно сказать, не знаю, последуют ли какие-то санкции от хостера, если ничего с этим не делать, но проверять не хочется.

Поэтому я регулярно захожу в панель администратора, чтобы посмотреть что у меня с нагрузкой и, если замечаю, что она в красной зоне, выгружаю логи и смотрю куда какой-нибудь очередной бот сунул свой любопытный нос. Решать проблему приходится по-разному — оптимизацией запросов, кешированием, динамической генерацией ссылок или стандартными robots.txt или nofollow, если бот их слушается.

Кеш у меня, кстати, сейчас устроен довольно сложно — если доступен модуль APC, либо есть /dev/shm, то горячие пути кешируются туда, если недоступно, используется общий кеш на файловой системе. Кеш без необходимости не сбрасывается, за этим я слежу отдельно. Инвалидация делается довольно топорно, надо — сносим, примерно как было в «Эгее», но, с другой стороны, я не делаю высоконагруженный проект, чтобы с этим отдельно заморачиваться.