Мой дэйли дайджест

одно техническое понятие в день

LLM (большая языковая модель)

13 июля 2026 · ~11 мин чтения

концепция ai llm нейросети трансформер

LLM (большая языковая модель)

LLM (Large Language Model, большая языковая модель) — это нейросеть с
миллиардами настраиваемых параметров, обученная на огромных объёмах текста
предсказывать следующий фрагмент слова. Из этой простой задачи — «угадай
продолжение» — вырастает способность писать код, отвечать на вопросы,
переводить и рассуждать.

История

Что это такое

Формально LLM — это гигантская математическая функция. На входе — текст,
превращённый в числа. На выходе — распределение вероятностей: какой фрагмент
текста, скорее всего, идёт дальше. Всё. Никакой базы фактов, никакой логики
в привычном смысле, никакого «понимания» в человеческом смысле — только
миллиарды чисел (параметров), подобранных так, чтобы предсказание было
максимально точным.

Магия в том, что для по-настоящему хорошего предсказания следующего слова
модели приходится выучить очень многое. Чтобы продолжить фразу «столица
Франции — …», нужно знать географию. Чтобы продолжить «def sort_users(…»,
нужно знать Python. Чтобы продолжить диалог врача с пациентом — понимать
медицину и стиль речи обоих. Так задача «угадай следующее слово» превращает
статистическую машину в универсального помощника.

Важные различия с похожими вещами:

Ключевая мысль

LLM не «ищет ответ» и не «вспоминает факт» — она каждый раз заново генерирует текст, который статистически похож на правильный ответ. Чаще всего похожий на правильный текст и есть правильный. Но не всегда — и в этом корень всех «галлюцинаций».

Аналогии из жизни

Как это работает

Разберём путь одного запроса — от твоего текста до ответа.

Шаг 1. Токенизация. Текст режется на токены (token — кусочек слова,
обычно 3–5 букв или целое короткое слово). «Идемпотентность» — это примерно
4–5 токенов, «cat» — один. У каждой модели свой словарь на десятки тысяч
токенов. Именно в токенах измеряют и лимиты, и цену API.

Шаг 2. Эмбеддинги. Каждый токен превращается в вектор (embedding —
список из тысяч чисел), кодирующий его смысл. Слова «король» и «королева»
получают близкие векторы — смысл похож.

Шаг 3. Слои внимания. Векторы проходят через десятки одинаковых слоёв
трансформера. В каждом слое механизм внимания (attention) позволяет каждому
токену «посмотреть» на все остальные и решить, какие из них важны для его
смысла. Во фразе «бот упал, потому что он не обработал ошибку» слово «он»
через внимание связывается с «бот». Слой за слоем модель строит всё более
абстрактное представление: сначала грамматика, потом смысл фразы, потом
логика всего документа.

Шаг 4. Предсказание. На выходе — вероятность для каждого токена словаря
быть следующим. Скажем: «ошибку» — 40%, «исключение» — 25%, «таймаут» — 10%…

Шаг 5. Сэмплирование. Модель выбирает один токен — не всегда самый
вероятный. Параметр temperature управляет случайностью: 0 — всегда самый
вероятный (предсказуемо, для кода и фактов), выше — разнообразнее (для
креатива). Поэтому один и тот же вопрос может давать разные ответы.

Шаг 6. Цикл. Выбранный токен дописывается к тексту, и всё повторяется
с шага 1 — токен за токеном, пока не сгенерируется специальный токен «стоп».
Это называется автогрессивной генерацией (autoregressive — каждый следующий
шаг зависит от собственных предыдущих выводов).

твой промпт → [токенизация] → [слои внимания × N] → вероятности
     ↑                                                    ↓
     └────────── дописать выбранный токен ←── [сэмплирование]

А до этого модель прошла три этапа обучения: претрейн (pre-training —
месяцы на тысячах GPU, триллионы токенов из интернета и книг, задача —
предсказание следующего токена), дообучение на инструкциях (SFT —
примеры «вопрос → хороший ответ», чтобы модель отвечала, а не просто
продолжала текст) и обучение с обратной связью от людей (RLHF — люди
сравнивают варианты ответов, модель учится предпочитать полезные и
безопасные).

Контекстное окно — сколько токенов модель видит за раз (у современных
моделей — от 128 тысяч до миллиона+). Всё, что не влезло, для модели не
существует. Именно поэтому в длинных сессиях Claude Code сжимает
(компактирует) историю диалога.

Где встречается в обычной жизни

Где встречается в IT и бизнесе

Кто пользуется

Альтернативы и конкуренты

Когда НЕ стоит использовать

Про данные

Всё, что ты отправляешь в облачную LLM, уходит на чужие серверы. Персональные данные клиентов, договоры, финансовые детали — только при явном на то праве: обезличивание, on-premise модель или корпоративный контракт с провайдером, где прописано неиспользование данных для обучения.

Связанные понятия

Литература и источники

Где встретилось у меня

Вчера весь день собирал систему бизнес-агентов: мониторинг трендов, разбор
звонков через транскрибацию, автоматические отчёты. LLM была центральным
узлом каждого пайплайна — выбор модели под задачу, structured output, чтобы
ответы ложились в базу, и ревью безопасности всей конструкции. Стало ясно,
что «мозг» всех этих агентов — одно и то же понятие, и его стоит разобрать.

Краткое резюме