SkillokBot — загрузчик страниц SKILLOK

Что это#

SkillokBot загружает страницы, когда человек просит агента SKILLOK что-то найти или прочитать в интернете. Это не поисковый обход: бот открывает только адреса, нужные для конкретного вопроса, и не ходит по ссылкам дальше.

В заголовке User-Agent он представляется так:

SkillokBot/0.1 (+https://skillok.org/docs/account/skillok-bot)

Что бот соблюдает#

• robots.txt — по стандарту RFC 9309. Бот ищет группу User-agent: SkillokBot, а если её нет — группу *. Если robots.txt не отвечает (ошибка сервера или сети), бот не загружает с сайта ничего, пока файл не станет доступен.
• Защиту от ботов не обходит. Капча, проверка браузера, отказ «доступ для ботов закрыт» — бот принимает отказ и сообщает агенту, что сайт закрыт для ботов.
• Объём и время. Страница — не больше 5 МБ, загрузка — не больше 15 секунд.

Как закрыть свой сайт#

Добавь в robots.txt:

User-agent: SkillokBot
Disallow: /

Закрыть только часть сайта — укажи путь, например Disallow: /private/.

Было полезно?

Да Нет