# SkillokBot — загрузчик страниц SKILLOK

Как агент SKILLOK читает страницы в интернете, что он соблюдает и как закрыть от него свой сайт.

## Что это

`SkillokBot` загружает страницы, когда человек просит агента SKILLOK что-то найти или прочитать
в интернете. Это не поисковый обход: бот открывает только адреса, нужные для конкретного вопроса,
и не ходит по ссылкам дальше.

В заголовке `User-Agent` он представляется так:

```
SkillokBot/0.1 (+https://skillok.org/docs/account/skillok-bot)
```

## Что бот соблюдает

* **robots.txt** — по стандарту RFC 9309. Бот ищет группу `User-agent: SkillokBot`, а если её
  нет — группу `*`. Если `robots.txt` не отвечает (ошибка сервера или сети), бот не загружает с
  сайта ничего, пока файл не станет доступен.
* **Защиту от ботов не обходит.** Капча, проверка браузера, отказ «доступ для ботов закрыт» —
  бот принимает отказ и сообщает агенту, что сайт закрыт для ботов.
* **Объём и время.** Страница — не больше 5 МБ, загрузка — не больше 15 секунд.

## Как закрыть свой сайт

Добавь в `robots.txt`:

```
User-agent: SkillokBot
Disallow: /
```

Закрыть только часть сайта — укажи путь, например `Disallow: /private/`.

---

https://skillok.org/docs/ru/account/skillok-bot