Команда учёных из Университета Решетнева разработала методику, которая помогает избавить нейросети от генерации недостоверных или выдуманных фактов
Команда учёных из Университета Решетнева разработала методику, которая помогает избавить нейросети от генерации недостоверных или выдуманных фактов
Команда учёных из Университета Решетнева разработала методику, которая помогает избавить нейросети от генерации недостоверных или выдуманных фактов.
Данную инновацию можно будет применять в самых разных сферах – от образования и медицины до юриспруденции и портала «Госуслуги», передаёт РИА Новости со ссылкой на сообщение вуза.
Проблема так называемых «галлюцинаций» у нейросетей состоит в том, что они порой уверенно выдают ложную информацию. Сейчас для борьбы с этим чаще всего используют RAG-системы (Retrieval Augmented Generation): сначала нейросеть ищет релевантные данные в базе знаний, а потом формирует ответ.
Однако этот метод не идеален, так как ошибки могут возникать из-за опечаток, противоречий в запросе или неполноты базы данных. Специалисты под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой нашли способ усовершенствовать данный процесс.
«Команда проанализировала типовые сценарии "галлюцинаций" и создала их классификатор, – пояснили в университете. – Затем был разработан автоматизированный пайплайн стресс-тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность с помощью специальных метрик и семантического сходства».
Ключевым результатом работы стал прототип модуля мониторинга, действующего в режиме реального времени.
Он фиксирует все входящие запросы и контекст диалога, оценивает риск выдачи недостоверного ответа и присваивает модели балл уверенности.Если система обнаруживает ошибку или фиксирует низкий уровень уверенности, она сразу сигнализирует оператору. Преимущество новой методики кроется в её универсальности, пояснили в вузе.
«Она не привязана к какой-то одной нейросети и может быть масштабирована для самых разных задач. Например, её можно внедрить в чат боты для абитуриентов, сервисы на "Госуслугах", а также в медицинских и юридических помощниках», – резюмировали в Университете Решетнева.
Свежие комментарии