Российские ученые создали метод выявления галлюцинаций ИИ с точностью на 30% выше

Новый взгляд на галлюцинации искусственного интеллекта

Российские специалисты создали метод, который позволяет эффективно выявлять так называемые галлюцинации в работе систем искусственного интеллекта (ИИ), используя при этом минимальное количество обучающих примеров. Этот новый подход увеличивает точность обнаружения таких сбоев примерно на 30%, как сообщает пресс-служба Сбера.

"Мы показали, что даже при небольшом объеме данных можно добиться высокой точности ИИ-систем. Предложенный нами способ использует метамодели и умное понижение размерности - это прорыв в выявлении галлюцинаций искусственного интеллекта. Мы не просто улучшаем технологии, но и снижаем риски дезинформации, что критично для доверия к современным моделям", - прокомментировал открытие директор Центра практического искусственного интеллекта Сбербанка Глеб Гусев.

Одной из основных проблем при создании ИИ-технологий, основанных на больших языковых моделях и других передовых нейросетях, является их способность генерировать правдоподобные, но при этом неверные ответы. Для обнаружения таких "галлюцинаций" ученые разработали различные методы, однако большинство из них требуют значительных объемов качественных размеченных данных для обучения.

Российские ученые предложили более простой и удобный подход. Он основан на наборе алгоритмов, которые отслеживают изменения во внутренних слоях системы ИИ при формировании как корректных, так и ошибочных ответов. Также используются системы классификации, построенные на базе классических алгоритмов машинного обучения или высокоскоростной нейросети-трансформера TabPFNv2.

Для обучения и проверки этой системы исследователи использовали несколько наборов запросов, контекстов и ответов больших языковых моделей. Часть из них была правильной, а другие содержали галлюцинации. Тестирование показало, что разработка российских ученых, используя всего 250 примеров, достигла уровня наиболее эффективных систем обнаружения галлюцинаций, созданных на основе коммерческих больших языковых моделей с закрытым кодом.

Эта особенность, по словам разработчиков, позволит компаниям значительно экономить ресурсы на разметку данных и улучшать качество систем ИИ, способных использовать внешние данные для подготовки ответов на запросы пользователей. Как пишут на сайте ТАСС Наука, ученые и разработчики также получают новый инструмент для анализа больших языковых моделей, а пользователи - более точные ответы от ИИ.