Это мой персональный дневник. Пишу, по большей части, про историю, свою жизнь и немного про программирование.

Как заставить wget игнорировать robots.txt

Я частенько пользуюсь утилитой wget, чтобы скачивать сайты, но по-умолчанию, она реагирует на robots