Узнай, что такое LLM, как её обучают и почему кажется, будто она знает всё.
Открыть этот урок в KodokonТы наверняка уже слышал про ChatGPT, Claude или Gemini. Это генеративные ИИ: программы, способные создавать совершенно новый текст (объяснение, краткое изложение, стихотворение, код) по письменному запросу. Движок, который за ними скрывается, называется LLM, сокращение от *Large Language Model* (большая языковая модель). В информатике «модель» - это программа, которая выучила закономерности на примерах, вместо того чтобы применять правила, выписанные человеком одно за другим.
Базовый принцип удивительно прост: LLM - это машина, которая предсказывает продолжение текста. Когда ты читаешь «Кот спит на…», твой мозг сам подставляет «диване» или «кровати». LLM делает ровно то же самое, но в огромном масштабе: на каждом шаге она вычисляет, какое слово (или кусочек слова) вероятнее всего идёт следующим, добавляет его и начинает заново. Целый ответ - это всего лишь длинная череда предсказаний, слово за словом. Тот же механизм, что и подсказки слов на клавиатуре твоего телефона, только несравнимо мощнее.
Ты терпеливый преподаватель, который объясняет информатику полному новичку.
Объясни мне, что такое большая языковая модель (LLM), как будто мне 12 лет, без неопределённых технических терминов.
Ограничения:
- Используй аналогию из повседневной жизни.
- Не более 10 предложений.
- Заверши вопросом, чтобы проверить, что я понял.Как эта машина учится так хорошо предсказывать? Через обучение: этап (ещё до твоего самого первого разговора), во время которого модель «читает» огромные объёмы текста - книги, статьи, сайты, программный код. Для каждой фразы продолжение скрывают и просят модель его угадать. Когда она ошибается, её параметры слегка подстраивают - то есть миллиарды её крошечных внутренних настроек. Повтори это миллиарды раз, и модель в итоге улавливает грамматику, стиль и огромную часть знаний, содержащихся в её обучающих текстах.
Именно поэтому генеративный ИИ как будто знает всё: он «прочитал» библиотеку больше той, что человек успел бы пройти за тысячу жизней. Но осторожнее с этим словом: *как будто*. Модель не заглядывает в энциклопедию, когда отвечает, и не «понимает» так, как понимаешь ты. Она вычисляет самую правдоподобную последовательность слов на основе своего обучения. Чаще всего правдоподобное = верное. Но не всегда, и как раз об этом следующий урок.
Я только что узнал, что LLM работают, предсказывая текст, что их обучают на огромных корпусах и что они выдают лишь самое правдоподобное продолжение.
Задай мне 3 вопроса, по одному за раз, чтобы проверить, действительно ли я понял эти три идеи.
Жди моего ответа после каждого вопроса, затем доброжелательно поправляй меня, прежде чем задать следующий.
Никогда не давай мне ответ, пока я не попробовал сам.