Плеер Mave Подкастов через iframe
Разработчики отечественного ИИ-ассистента для управляющих компаний в сфере ЖКХ, который пришлось переобучать из-за использования ненормативной лексики, скорее всего, изначально халатно отнеслись к настройке стоп-тем для обсуждения, что позволило «спровоцировать» нейросеть. Об этом в эфире Радио РБК заявил основатель Alternative Technology Future Эдгар Григорян.
«Это называется «инъекция» — когда вы саму нейросеть заставляете ругаться либо, наоборот, рассказывать противоположную информацию», — объяснил он.
По словам Григоряна, часто бывает, что под оболочкой импортозамещенного сервиса скрывается международный продукт либо продукт, сделанный не самим департаментом IT.
Он также рассказал, что когда в его компании разработчики халатно отнеслись к чат-боту, который отвечал на все запросы пользователей, «какой-то умелец» обучил через «инъекцию» этого бота ругаться матом и критиковать проводимые компанией мероприятия.
«Оттуда мы поняли, что внешний контур очень опасно использовать», — добавил Григорян.
Плеер Mave Подкастов через iframe
Гендиректор сервиса Dbrain Алексей Хахунов подтвердил, что нейросети могут спонтанно приобретать неожиданные навыки уже после обучения. В качестве примера он привел одну из зарубежных моделей: будучи обученной на английском языке, в состоянии «грусти» она переключается на русский.
Самый простой способ борьбы с такими эффектами — корректировка базового промпта, объяснил Хахунов. Более сложный метод — alignment, дообучение модели на финальной стадии с участием людей. При этом, подчеркнул он, контролировать можно лишь известные риски: «Заранее предугадать, где и что пойдет не так, достаточно тяжело».
Советник генерального директора по искусственному интеллекту Ассоциации ФинТех Алексей Сидорюк ранее в эфире программы «Таманцев. В итоге» в эфире Радио РБК отмечал, что человечество «прошло точку невозврата» в вопросе взаимодействия с ИИ: люди уже адаптировали эти технологии в жизнь и работу настолько, что откатиться обратно очень сложно. При этом он отметил, что конец 2025 года стал «ямой разочарования» в технологии ИИ.
