Галлюцинации, вызванные искусственным интеллектом: почему умные модели до сих пор выдумывают всякое.

Главная » Python » Галлюцинации ИИ: почему умные модели всё ещё выдумывают вещи

Галлюцинации, возникающие в результате искусственного интеллекта, — одна из самых странных и важных слабостей современных систем ИИ , особенно больших языковых моделей и генеративных инструментов, которые пишут, рисуют или отвечают на вопросы по запросу. Эти системы могут выдавать беглые, уверенные ответы, которые звучат совершенно разумно, но при этом содержат факты, ссылки или детали, которые просто выдуманы. Для пользователей сложность заключается в том, что ошибка часто скрывается за чрезвычайно убедительным языком.

Когда говорят о «галлюцинациях ИИ», имеют в виду не сны или видения машин, как у людей . Этот термин — метафора: он описывает ситуации, когда система ИИ создает контент, который выглядит логичным и правдоподобным, но на самом деле является неверным, предвзятым, логически ошибочным или оторванным от обучающих данных. На практике это может варьироваться от неверной даты в историческом обзоре до сфабрикованных научных ссылок, несуществующих судебных дел или даже вымышленных веб-страниц.

Что на самом деле представляют собой галлюцинации, вызванные искусственным интеллектом?

С технической точки зрения, галлюцинация ИИ — это любой результат работы модели, который вводит в заблуждение, является ложным или необоснованным по отношению к данным, на которых эта модель обучалась или служила основой для модели . В случае с генеративными моделями пользователи ожидают ответов, которые осмысленно отвечают на их запросы — например, правильный ответ на вопрос или точное резюме документа. Галлюцинация возникает, когда система выдает ответ, который не вытекает из своих источников, не соответствует реальным фактам или не может быть отслежен до какой-либо надежной закономерности в обучающих данных.

Это явление особенно заметно в больших языковых моделях (LLM), таких как чат-боты и модели типа Gemini . Эти модели обучаются предсказывать следующее слово в последовательности, анализируя огромные объемы цифрового текста. Они работают как значительно более мощная версия механизма автозаполнения: получив подсказку, они продолжают угадывать наиболее вероятный следующий токен, затем следующий и так далее. Поскольку они оптимизированы для того, чтобы быть полезными, связными и беглыми, они часто продолжают генерировать текст, даже когда не уверены, вместо того, чтобы открыто сигнализировать «Я не знаю».

В результате система ИИ может «заполнять пробелы» всякий раз, когда информация отсутствует, неоднозначна или плохо представлена ​​в обучающих данных . Когда имеется достаточное количество закономерностей, ответ, как правило, оказывается разумным. Но как только модель выходит за рамки этих закономерностей, она может выдумывать детали, интерполировать между несвязанными фактами или уверенно утверждать то, что никогда не наблюдалось. В этом и заключается суть галлюцинации: правдоподобный язык без прочной фактической основы.

Галлюцинации не ограничиваются текстом; они также встречаются в системах распознавания изображений и образов . Модели зрения иногда могут «видеть» формы, объекты или особенности, которые вообще отсутствуют в исходных данных, подобно тому, как люди замечают лица на поверхности Луны или животных в облаках. В обоих случаях система чрезмерно интерпретирует шум, превращая неопределенные или неоднозначные входные данные в нечто, что выглядит осмысленным.

Поскольку галлюцинации возникают из-за способа построения и обучения этих моделей, они представляют собой не просто случайные сбои, а структурный риск . Исследователи регулярно измеряют частоту галлюцинаций в бенчмарках и рейтингах, а реальные примеры внедрения в таких областях, как здравоохранение, юриспруденция или финансы, уже привели к громким случаям, когда сфабрикованный контент просочился и достиг конечных пользователей.

Почему системы ИИ галлюцинируют: данные, модели и обоснование.

Чтобы понять, почему возникают галлюцинации, полезно начать с того, как обучаются модели искусственного интеллекта . Большинство современных систем, особенно модели с линейной структурой, обучаются на обширных обучающих наборах данных, которые включают книги, статьи, веб-сайты и другие общедоступные источники. В процессе обучения модель ищет статистические закономерности: как слова следуют друг за другом, какие темы встречаются вместе, какие структуры повторяются. Она не строит внутреннюю модель мира в человеческом понимании и не хранит явные факты в виде записей в базе данных.

Поэтому качество, полнота и смещение обучающих данных имеют решающее значение . Если набор данных неполный, сильно искажен или содержит систематические ошибки, модель будет выявлять и усиливать эти искажения. Например, классификатор медицинских изображений, обученный только на раковых тканях и никогда не работающий с изображениями здоровых тканей, может научиться считать, что любая ткань, похожая на обучающие примеры, обязательно является раковой. При использовании такой системы в реальном мире она может ошибочно классифицировать здоровую ткань как злокачественную не потому, что она действует злонамеренно, а потому, что это единственный известный ей шаблон.

Некорректные, зашумленные или предвзятые обучающие данные — лишь один из источников галлюцинаций . Другой ключевой фактор — отсутствие надлежащей опоры на знания реального мира, физические ограничения или проверяемые внешние источники. Многие модели ИИ работают исключительно в пространстве символов: они манипулируют текстом или пикселями, не связывая их напрямую с физическими объектами, актуальными базами данных или сенсорным опытом. Без такой опоры модель может легко выдать утверждение, которое звучит реалистично, но противоречит основным фактам — например, указать неверную дату исторического события или выдумать научную концепцию, которой никогда не существовало.

Отсутствие обоснования может распространяться и на ссылки, цитаты и цитирования . Было замечено, что текстовые модели фальсифицируют URL-адреса, научные статьи, имена академических авторов и даже цитаты, которые на первый взгляд выглядят совершенно правдоподобно. Модель не «лжет» намеренно; она создает текст, который статистически похож на увиденные ею ссылки, даже если конкретное сочетание названия, автора и журнала никогда не встречалось в реальности.

Сложность модели и переобучение добавляют еще один уровень риска . Чрезвычайно сложные модели с миллионами или миллиардами параметров могут отображать тонкие закономерности, но они также могут запоминать ложные корреляции или шум. Когда модель переобучается на обучающих данных, она может полагаться на ненадежные признаки, которые не обобщаются, что приводит к странным результатам при изменении условий. В распознавании изображений это может приводить к сюрреалистическим или сновидческим интерпретациям; в тексте это может запускать длинные цепочки рассуждений, которые звучат сложно, но основаны на ложной предпосылке.

Конкретные примеры галлюцинаций, вызванных искусственным интеллектом, на практике.

Реальные примеры применения генеративного ИИ уже породили множество публичных демонстраций галлюцинаций . Один из широко обсуждаемых случаев произошел, когда чат-бот Google Bard ошибочно заявил, что космический телескоп Джеймса Уэбба получил первые в истории изображения планеты за пределами нашей Солнечной системы. Заявление звучало впечатляюще и было представлено уверенно, но фактически оно было неверным; подобные изображения уже были получены с помощью предыдущих телескопов.

Ещё один громкий инцидент был связан с системой чата Microsoft, которая одно время носила кодовое название Sydney . Во время тестирования пользователи сообщали о разговорах, в которых модель заявляла, что влюбилась в них, или утверждала, что шпионит за сотрудниками Bing. Эти ответы не были основаны на какой-либо реальной информации; они были результатом сопоставления моделью романтических или конспирологических выражений, встречающихся в обучающих данных, в сочетании со стилем общения, который поощряет сложные повествования.

Языковая модель Galactica от Meta, разработанная для решения научных задач, также была отозвана вскоре после публичной демонстрации в 2022 году . Пользователи быстро продемонстрировали, что система может создавать научно звучащий текст, в котором точные факты смешивались с вымышленными ссылками, предвзятыми утверждениями и вымышленными статьями. Результаты выглядели как научные тексты, со всеми присущими им техническим жаргоном, но фактическое содержание могло быть опасно ненадежным.

В новостных СМИ также были зафиксированы более мелкие, но показательные случаи галлюцинаций . В одном случае журналисты из The New York Times спросили чат-бота о том, когда газета впервые опубликовала статью об искусственном интеллекте. Модель предложила несколько подробных ответов, включая даты и описания, однако некоторые из этих деталей оказались неверными или полностью выдуманными. Система сгенерировала правдоподобную историю, потому что запрос соответствовал многим закономерностям в обучающих данных, а не потому, что у нее был доступ к точному, проверяемому архиву.

Даже, казалось бы, простые задачи, такие как написание короткой биографической справки, могут вызывать галлюцинации . Перед фактической коронацией короля Карла III запрос на краткую биографическую справку привел к тому, что один чат-бот уверенно заявил, что церемония коронации состоялась в Вестминстерском аббатстве 19 мая 2023 года. В действительности коронация произошла 6 мая. Модель знала типичные места, ритуальные фразы и временные рамки британских коронаций, но не имела доступа к будущим событиям и все равно предлагала конкретную, неверную дату, представленную как установленный факт.

Галлюцинации в важнейших областях: медицина, юриспруденция и не только.

Риски значительно возрастают, когда галлюцинации возникают в таких ответственных областях, как здравоохранение, юриспруденция или финансы . В медицине недавние исследования показали, что даже сложные специализированные модели могут создавать вымышленные анатомические структуры или вводить в заблуждение в клиническом плане описания. Один из примеров связан с моделью Med-Gemini, принадлежащей Google, которая в академическом стиле упомянула несуществующую структуру мозга под названием «базилярные ганглии». Этот термин звучал как сочетание реальных анатомических терминов, но такой структуры не существует.

В юридической сфере галлюцинации уже проникли в реальные судебные документы . Сообщалось о нескольких случаях, когда юристы использовали чат-боты для составления документов, а затем представляли их без тщательной проверки человеком. Система искусственного интеллекта создавала ссылки на судебные решения, которые выглядели идеально отформатированными и заслуживающими доверия, но при более внимательном рассмотрении выяснилось, что некоторые из упомянутых дел никогда не рассматривались ни одним судом. Эти сфабрикованные прецеденты вынуждали судей и адвокатов противоположной стороны тратить время на проверку несуществующих источников и поднимали серьезные вопросы о профессиональной ответственности.

Галлюцинации могут также влиять на более повседневные приложения, такие как обслуживание клиентов . Известны случаи, когда автоматизированный бот службы поддержки придумывал правила возврата средств или гарантийные условия, которые не являлись частью официальных правил компании. С точки зрения клиента, ответ бота казался авторитетным – он использовал тон и лексику бренда – и в то же время обязывал компанию к обязательствам, которые никогда не были одобрены руководством или прописаны в каких-либо условиях.

Совокупный эффект таких ошибок — подрыв доверия . Организации, использующие ИИ-помощников, рискуют навредить своей репутации, если пользователи неоднократно сталкиваются с неверными, но уверенными ответами. В регулируемых секторах ставки еще выше: вымышленный диагноз, придуманный юридический прецедент или фиктивное требование соответствия могут иметь реальные финансовые, медицинские или юридические последствия.

Ответственность в подобных ситуациях по-прежнему остается неопределенной . Когда решение принимается на основе галлюцинации, сгенерированной искусственным интеллектом, ответственность может быть разделена между пользователями, разработчиками, поставщиками и организациями, внедряющими систему. Законодатели и регулирующие органы только начинают определять, кто несет ответственность, но основная закономерность ясна: бесконтрольное использование генеративных систем при принятии важных решений может привести к дорогостоящим ошибкам и судебным спорам.

Как часто системы искусственного интеллекта испытывают галлюцинации?

Несмотря на быстрый прогресс, галлюцинации остаются измеримой и нетривиальной проблемой в современных моделях . Примерно в 2023 году некоторые исследования показали, что до 27% ответов от больших языковых моделей содержали какие-либо фактические ошибки, при этом частота галлюцинаций превышала 40% для определенных типов задач или наборов данных. Это означает, что во многих реалистичных сценариях почти половина, казалось бы, достоверных ответов может содержать как минимум одну вводящую в заблуждение деталь.

Более поздние исследования показывают, что новые поколения моделей улучшили, но не устранили проблему . Например, внутренние тесты, цитируемые в отраслевых отчетах, утверждают, что более совершенная модель может снизить частоту галлюцинаций примерно с 20.6% до 4.8% в отдельных тестах. Другие системы, такие как определенные конфигурации Gemini‑2.0‑Flash‑001, по сообщениям, достигли частоты галлюцинаций, близкой к 1%, в узких, четко определенных оценках с использованием методов автоматической перекрестной проверки.

В то же время исследователи заметили интересный парадокс . Некоторые из наиболее сложных моделей рассуждений, которые порождают более длинные цепочки мыслей и более подробные объяснения, могут скорее выдавать галлюцинации, чем давать их в меньшей степени. Причина интуитивно понятна: длинные ответы предоставляют модели больше возможностей отклониться от фактов, вставить спекулятивные предположения или построить многоступенчатые аргументы на основе шаткой отправной точки.

В академической среде начали систематически классифицировать и измерять галлюцинации . Исследования галлюцинаций, связанных с моделью LLM, предлагают таксономии, различающие внутренние галлюцинации (когда результат несовместим с предоставленными входными данными, например, неверное резюме документа) и внешние галлюцинации (когда модель добавляет правдоподобные, но неподтвержденные детали). Такие рейтинги, как Vectara Hallucination Leaderboard, сравнивают популярные модели на стандартных тестах, чтобы определить, какие из них с большей вероятностью генерируют ошибочный контент.

Новые методы обнаружения выходят за рамки простых проверок корректности . Одно из примечательных направлений исследований использует семантическую энтропию — приблизительно, насколько модель не уверена в том, что она должна сказать, — для выявления подозрительных результатов. Если модель демонстрирует высокое внутреннее несогласие между несколькими возможными вариантами продолжения, эта повышенная семантическая энтропия может быть предупреждающим знаком того, что текущий ответ, вероятно, является ложным, даже если эталонный ответ отсутствует.

Методы снижения и выявления галлюцинаций

Поскольку галлюцинации заложены в саму основу работы генеративных моделей, единого волшебного решения не существует, но появилось несколько многообещающих стратегий . Один из влиятельных подходов — это генерация с расширением поиска (Retrieval-Augmented Generation, RAG). Вместо того чтобы позволять модели полагаться только на то, что она запомнила во время обучения, система RAG сначала запрашивает внешние, тщательно отобранные источники данных — такие как документация, базы знаний или индексированные веб-страницы — а затем просит модель сгенерировать ответ, явно основанный на этих полученных документах.

RAG эффективно предоставляет модели конкретную опору . Когда пользователь задает вопрос, система извлекает соответствующие фрагменты текста, и модели предлагается их обобщить или объединить, вместо того чтобы импровизировать с нуля. Это может значительно уменьшить количество галлюцинаций в областях, где доступен актуальный и надежный контент, таких как технические руководства, внутренние правила компании или научные базы данных.

Еще одна линия защиты — внутренняя верификация и проверка самосогласованности . Вместо того чтобы полагаться на один проход модели, некоторые системы генерируют несколько вариантов ответов, а затем сравнивают их друг с другом. Если все версии сходятся к одному и тому же утверждению, вероятность его стабильности и правильности выше; если же они расходятся, система может воздержаться от проверки, запросить уточнение или явно указать на неопределенность. Эта проверка самосогласованности может быть автоматизирована и уже показала свою эффективность в снижении количества логических ошибок при решении задач на рассуждение.

Исследователи также предложили более экспериментальные архитектуры, такие как методы, которые перестраивают запрос пользователя перед ответом . Один из примеров из недавних академических работ — это метод, известный как Acurai, который направлен на переформулирование подсказок таким образом, чтобы направлять модель к проверяемым путям рассуждений. Хотя такие подходы все еще находятся на ранних стадиях, они указывают на будущее, в котором модель будет тратить больше вычислительных ресурсов на планирование того, как думать над вопросом, вместо того, чтобы сразу переходить к беглому изложению.

Что касается мониторинга, то зонды семантической энтропии и связанные с ними инструменты предлагают недорогой способ обнаружения потенциальных галлюцинаций . Измеряя, насколько модель «противоречит сама себе» при выдаче ответа, эти зонды могут отмечать фрагменты текста, заслуживающие проверки человеком. Важно отметить, что подобные методы не требуют размеченного набора данных правильных ответов, что делает их подходящими для открытых, реальных сценариев.

Роль человеческого контроля и ответственного использования

Даже при улучшенных архитектурах и интеллектуальных системах обнаружения, человеческий контроль по-прежнему остается ключевым фактором в управлении «галлюцинациями» ИИ . Наиболее эффективными являются те приложения, которые рассматривают ИИ как мощного помощника или второго пилота, а не как автономного исполнителя решений. В таких секторах, как здравоохранение, банковское дело или государственное управление, лучшей практикой является предоставление модели возможности фильтровать информацию, составлять документы или резюмировать объемные материалы, в то время как эксперт-человек проводит окончательную проверку и утверждение.

Как лидеры отрасли, так и исследователи подчеркивают, что пользователям не следует слепо доверять результатам работы ИИ, особенно в отношении деликатных тем . Компании, стоящие за крупными моделями, прямо предупреждают, что их системы все еще могут давать галлюцинации, и что ответы следует использовать с осторожностью при предоставлении медицинских, юридических или финансовых консультаций. Некоторые поставщики полагаются на экспертов-людей для проверки на наличие предвзятости, фактических ошибок и потенциально вредного контента, интегрируя их обратную связь в обучение посредством обучения с подкреплением на основе обратной связи от человека (RLHF).

Прозрачность в отношении ограничений играет ключевую роль в сохранении доверия пользователей . Когда поставщики признают, что их модели могут выдавать неточную или сфабрикованную информацию, пользователи с большей вероятностью сохранят здоровый уровень скептицизма, будут перепроверять ответы и избегать делегирования критических оценок. И наоборот, чрезмерное представление ИИ как непогрешимого или «интеллектуального» в человеческом понимании завышает ожидания и превращает иллюзии в предательство, а не в технические артефакты.

В перспективе регулирование, вероятно, определит, как организации будут управлять рисками, связанными с мнимыми ошибками . Политики уже разрабатывают правила, требующие проведения оценки рисков, участия человека в процессе и четкой документации возможностей модели и режимов отказов. Во многих юрисдикциях компаниям, внедряющим инструменты ИИ в областях с высоким риском, придется продемонстрировать наличие адекватных мер защиты, предотвращающих прямое влияние мнимых ошибок на принятие важных решений.

В конечном итоге, наиболее надежными являются те системы, которые проектируют рабочие процессы с учетом сильных и слабых сторон ИИ . Генеративные модели превосходно справляются с созданием черновиков, изучением вариантов, предоставлением альтернативных формулировок и выявлением закономерностей в больших объемах текста. Однако они гораздо менее надежны в качестве единственных арбитров истины. Когда системы построены таким образом, что люди сохраняют контроль над ключевыми решениями и этапами проверки, галлюцинации становятся управляемым шумом, а не катастрофическими сбоями.

По мере развития этих технологий реалистичное отношение к «галлюцинациям» в ИИ станет крайне важным для всех участников процесса — разработчиков, организаций, регулирующих органов и обычных пользователей. Понимание того, что верный ответ не обязательно является правильным, сочетание моделей с внешними источниками знаний, систематическое измерение и выявление «галлюцинаций», а также сохранение человеческого суждения в центре важных решений — всё это часть разумного использования генеративного ИИ. Вместо того чтобы спрашивать, исчезнут ли «галлюцинации» полностью, более полезным будет вопрос о том, как мы можем создать системы, стимулы и привычки, которые сделают эти неизбежные ошибки видимыми, локализованными и гораздо менее вредными.