Kodokon kodokon.com

Что ИИ делает хорошо… и в чём ошибается

Научись распознавать галлюцинации, устаревшие знания и излишнюю самоуверенность ассистентов.

7 мин · 3 вопросов

Открыть этот урок в Kodokon

Для обучения программированию генеративный ИИ - грозный союзник. Он отлично умеет: объяснять понятие точно на твоём уровне, переформулировать иначе, когда ты не понял, давать дополнительные примеры по запросу, создавать упражнения специально под тебя и разбирать твою работу, указывая на ошибки. Ни один учебник не подстраивается под тебя так, и ни один преподаватель не доступен круглосуточно. Но у этого союзника есть три недостатка, о которых надо знать, прежде чем ему доверять.

Первый недостаток: галлюцинации. Галлюцинация - это ответ, который ложен, но сформулирован так, будто это очевидно. Вспомни предыдущий урок: модель выдаёт *правдоподобный* текст, а не *проверенный*. Реальные примеры: выдумать несуществующую функцию JavaScript (например, придуманный array.shuffle()), сослаться на книгу, которая никогда не была написана, или приписать цитату не тому человеку. Текст гладкий, уверенный, хорошо построенный… и неверный.

Второй недостаток: устаревшие знания. Модель заморожена на моменте, когда её обучение прекратилось; эта дата называется порогом знаний (knowledge cutoff). Всё, что появилось после - новая версия языка, новая библиотека, текущие события, - ей неизвестно, если только у ассистента нет инструмента поиска в интернете. На практике: если ты спросишь «какая последняя версия Python?», ответ может оказаться устаревшим, и ничто на это не укажет.

Третий недостаток: излишняя самоуверенность. Компетентный человек говорит «я не знаю» или «я не уверен». LLM по умолчанию выдаёт утвердительный ответ, потому что нерешительные тексты редки в её обучении. Итог: чем ты больше новичок, тем выше риск принять догадку за факт. Лекарство: прямо попросить модель отделять то, в чём она уверена, от того, в чём нет.

PROMPT
Ты дотошный ассистент, который скорее признает неуверенность, чем что-то выдумает.

Ответь на мой вопрос ниже, строго соблюдая эти правила:
1. Чётко отделяй УСТАНОВЛЕННЫЕ ФАКТЫ от ПРЕДПОЛОЖЕНИЙ.
2. Если ты не уверен в каком-то пункте, поставь перед ним «ПРОВЕРИТЬ:».
3. Укажи дату своего порога знаний и отметь, что могло измениться с тех пор.
4. Заверши списком официальных источников, где я смогу проверить сам.

Мой вопрос: [впиши сюда свой вопрос]
Многоразовая страховка: заставь ИИ показать свою неуверенность.

Правильная привычка, которую стоит завести уже сегодня: относиться к ИИ как к отправной точке, а не как к окончательному источнику. Любую важную информацию (синтаксис, версию, факт) сверяй с официальной документацией или авторитетным источником. Это небольшое усилие на проверку - не потеря времени: умение искать в документации и есть навык программиста, который ты тренируешь попутно.

PROMPT
Ты только что сказал мне следующее: [вставь сюда утверждение ИИ].

Теперь побудь адвокатом дьявола: назови причины, по которым это утверждение может быть ложным, неполным или устаревшим, а затем объясни, как именно мне проверить это самому (какую официальную документацию открыть, что в ней искать).
Заставить ИИ усомниться в собственном ответе: просто и очень действенно.

Проверка знаний

Убедись, что запомнил ключевые моменты этого урока.

  1. Что такое галлюцинация у генеративного ИИ?
    • Сбой, который обрушивает приложение
    • Ложный ответ, поданный уверенно, как если бы он был верным
    • Намеренно вводящий в заблуждение ответ, запрограммированный издателем
  2. К чему относится «порог знаний» модели?
    • К дате окончания твоей подписки
    • К сроку, после которого твои разговоры удаляются
    • К дате окончания её обучения: она не знает ничего, что появилось после
    • К дате выхода мобильного приложения
  3. ИИ отвечает тебе очень уверенным тоном. Какой вывод из этого сделать?
    • Никакой: уверенный тон не доказывает, что ответ верен
    • Что ответ надёжен, иначе ИИ выразил бы сомнение
    • Что ответ взят из официального источника