Новое оружие Google: ИИ научится проверять факты!

Халлюцинации ИИ: полный бардак

Сколько уже живут эти чат-боты, столько они и выдумывают всякую чушь. Эти «галлюцинации» — это, блин, неотъемлемая часть их работы. Но это огромная проблема для таких компаний как Google, которые сильно ставят на ИИ, потому что это делает ответы недостоверными. Бесит до ужаса, когда думаешь, что доверил сложный вопрос умному боту, а он тебе какую-то ересь выдал.

Про DataGemma и как она должна исправить ситуацию

Сегодня Google выпускает инструмент, чтобы решить эту проблему. Называется DataGemma, и у неё есть два метода, которые помогают проверять факты и указывать источники максимально прозрачно. Звучит как сказка, не правда ли?

Первый метод — это Retrieval-Interleaved Generation (RIG). Вот он как работает: ты задаешь вопрос, например, «Увеличилось ли использование возобновляемых источников энергии в мире?», а модель делает черновую версию ответа. Потом RIG проверяет, какие части можно сверить с базой данных Data Commons — это такой огромный склад данных от ООН, Центров по контролю и профилактике заболеваний и прочих надёжных мест. После проверки оригинальная галиматья заменяется на правильные факты, и источники указываются. Всё это выглядит как картинка в букваре, но работает ли на практике?

Второй метод — это Retrieval-Augmented Generation (RAG), который часто используется в других больших языковых моделях. Берём вопрос, например, «Какой прогресс достиг Пакистан в глобальных целях в области здравоохранения?» Модель ищет данные, которые помогут ответить на вопрос, хави данные о доступе к чистой питьевой воде, вакцинациям от гепатита B и продолжительности жизни. На основе этих цифр составляется ответ, и указываются источники.

> «Наша цель — использовать Data Commons для повышения уровня рассуждений LLMs (больших языковых моделей), используя реальные статистические данные», — говорит Прем Рамасвами, глава Data Commons в Google. Делая это, по его словам, получится создать «более надёжный и достоверный ИИ».

Ограничения и точность — вот тут и начинается веселье

Пока что этот инструмент доступен только для исследователей, но Рамасвами говорит, что доступ может расшириться после дополнительного тестирования. Если всё пойдёт по плану, это может стать золотым временем для внедрения ИИ в поисковые системы Google. Но не всё так гладко, как хотелось бы.

Во-первых, полезность методов ограничивается наличием данных в Data Commons. Это больше склад данных, а не энциклопедия. Она скажет вам ВВП Ирана, но вот дату Первой битвы при Эль-Фаллудже или когда Тейлор Свифт выпустила свой последний сингл — нет. Исследователи Google обнаружили, что в 75% случаев RIG не мог получить полезные данные из Data Commons. Это просто полный пздц, как можно на это спокойно смотреть?

Во-вторых, точность оставляет желать лучшего. При тестировании метода RAG оказалось, что модель дала неправильные ответы в 6% до 20% случаев. А метод RIG вытягивает правильные данные только в 58% случаев (что всё равно лучше, чем 5% — 17% при отсутствии обращений к Data Commons). Надо же было так облажаться, что даже моя собака меня бы осудила.

Рамасвами говорит, что точность DataGemma будет увеличиваться по мере её обучения на новых данных. Начальная версия была обучена на 700 вопросах, и командe пришлось вручную проверять каждый факт. Для улучшения модели планируется увеличить этот набор данных до миллионов вопросов.

Короче говоря, Google тут что-то суетится, но уверенности нет, что их новый инструмент спасет ситуацию. Буря в стакане воды, вот и всё.