Robots.txt и Яндекс

Яндекс теперь поддерживает маски в robots.txt, т.е. символы «\$» и «*» в «disallow» и «allow» (да, теперь ещё и «allow» поддерживается!). Например:
# запрещает '/cgi-bin/example.aspx' и '/cgi-bin/private/test.aspx'
User-agent: Yandex Disallow: /cgi-bin/*.aspx
Disallow: /*private # запрещает не только '/private', но и '/cgi-bin/private
Disallow: /example$ # запрещает '/example', но не запрещает '/example.html'
Подробнее можно прочитать в соответствующем разделе помощи Яндекса.
23 декабря 2007 13:58

Ваше имя или адрес блога (можно OpenID):

Текст вашего комментария, не HTML: