# Что такое языковая модель

Как работает большая языковая модель (LLM), что такое токены и контекст, что модель умеет хорошо и где ошибается.

## Коротко

**Большая языковая модель** (LLM, large language model) — нейросеть, обученная на огромном
объёме текста и кода. Её основное умение — предсказывать следующий кусочек текста. Из этого
простого умения вырастает всё остальное: ответы на вопросы, пересказ, перевод, код, рассуждение
по шагам.

Модель не «ищет ответ в базе» и не «помнит интернет» дословно. Она подбирает самое вероятное
продолжение по тому, что видит сейчас: твой вопрос, правила, файлы, которые ей передали.

## Токены

Модель читает и пишет не буквами, а **токенами** — кусочками слов. В английском один токен —
примерно три-четыре буквы, в русском текст обычно делится на токены мельче, поэтому тот же смысл
по-русски стоит чуть больше токенов.

Токены — это и деньги: провайдеры берут плату отдельно за прочитанные моделью токены (вход) и за
написанные (выход). Выход обычно дороже входа в несколько раз.

## Контекст

**Контекст** (окно контекста) — сколько токенов модель видит за один раз: правила, история
разговора, файлы и сам вопрос. У современных моделей окно — от десятков тысяч до миллиона
токенов. Всё, что не поместилось, модель не видит.

В SKILLOK окно ограничено 128 тысячами токенов: длинная история сжимается в сводку, а большие
результаты инструментов — урезаются. Так ответ остаётся быстрым и недорогим.

## Что модель умеет хорошо

* Объяснять и пересказывать: тему, статью, чужой код.
* Писать черновики: текст, код, тесты, вопросы для самопроверки.
* Разбирать структуру: найти ошибку в рассуждении, предложить план.
* Работать с инструментами: читать файлы репозитория, искать, заводить задачи, предлагать правки.

## Где модель ошибается

* **Выдумывает** («галлюцинирует»): уверенно называет несуществующий факт, ссылку или функцию.
  Важное проверяй по источнику.
* **Не знает свежего**: знания модели заканчиваются датой обучения. Свежие данные ей нужно
  передать — файлом или поиском в интернете.
* **Считает неточно**: длинную арифметику лучше доверять коду, а не модели.
* **Зависит от формулировки**: чем точнее вопрос и чем больше нужного контекста, тем лучше ответ.

## Модели «думающие» и обычные

Часть моделей перед ответом **рассуждает** — пишет скрытую цепочку шагов. Они лучше решают
задачи по математике, логике и коду, но отвечают медленнее и стоят дороже: рассуждение тоже
оплачивается токенами. Для простых вопросов хватает быстрой модели без рассуждения.

## Что дальше

* [Как выбрать](https://skillok.org/docs/ru/ai-models/choosing-a-model)
* [Подключение в SKILLOK](https://skillok.org/docs/ru/ai-models/connecting-in-skillok)

---

https://skillok.org/docs/ru/ai-models/what-is-an-llm