Что такое языковая модель

Как работает большая языковая модель (LLM), что такое токены и контекст, что модель умеет хорошо и где ошибается.

Обновлено Скопировать как Markdown
В этой статье

Коротко#

Большая языковая модель (LLM, large language model) — нейросеть, обученная на огромном объёме текста и кода. Её основное умение — предсказывать следующий кусочек текста. Из этого простого умения вырастает всё остальное: ответы на вопросы, пересказ, перевод, код, рассуждение по шагам.

Модель не «ищет ответ в базе» и не «помнит интернет» дословно. Она подбирает самое вероятное продолжение по тому, что видит сейчас: твой вопрос, правила, файлы, которые ей передали.

Токены#

Модель читает и пишет не буквами, а токенами — кусочками слов. В английском один токен — примерно три-четыре буквы, в русском текст обычно делится на токены мельче, поэтому тот же смысл по-русски стоит чуть больше токенов.

Токены — это и деньги: провайдеры берут плату отдельно за прочитанные моделью токены (вход) и за написанные (выход). Выход обычно дороже входа в несколько раз.

Контекст#

Контекст (окно контекста) — сколько токенов модель видит за один раз: правила, история разговора, файлы и сам вопрос. У современных моделей окно — от десятков тысяч до миллиона токенов. Всё, что не поместилось, модель не видит.

В SKILLOK окно ограничено 128 тысячами токенов: длинная история сжимается в сводку, а большие результаты инструментов — урезаются. Так ответ остаётся быстрым и недорогим.

Что модель умеет хорошо#

  • Объяснять и пересказывать: тему, статью, чужой код.
  • Писать черновики: текст, код, тесты, вопросы для самопроверки.
  • Разбирать структуру: найти ошибку в рассуждении, предложить план.
  • Работать с инструментами: читать файлы репозитория, искать, заводить задачи, предлагать правки.

Где модель ошибается#

  • Выдумывает («галлюцинирует»): уверенно называет несуществующий факт, ссылку или функцию. Важное проверяй по источнику.
  • Не знает свежего: знания модели заканчиваются датой обучения. Свежие данные ей нужно передать — файлом или поиском в интернете.
  • Считает неточно: длинную арифметику лучше доверять коду, а не модели.
  • Зависит от формулировки: чем точнее вопрос и чем больше нужного контекста, тем лучше ответ.

Модели «думающие» и обычные#

Часть моделей перед ответом рассуждает — пишет скрытую цепочку шагов. Они лучше решают задачи по математике, логике и коду, но отвечают медленнее и стоят дороже: рассуждение тоже оплачивается токенами. Для простых вопросов хватает быстрой модели без рассуждения.

Что дальше#

Было полезно?