Вашингтон, 19 августа (Кью ЭН Эй) — OpenAI объявила о новом наборе политик и мер безопасности и защиты, направленных на предотвращение инцидентов безопасности во время тестирования моделей искусственного интеллекта.

Новые меры включают более детальный мониторинг поведения моделей на протяжении всего процесса разработки, а также усиленное внимание к согласованию моделей и безопасности на этапе после обучения.

Компания заявила, что новые меры были частично вызваны передовыми возможностями кибербезопасности ожидаемой модели Astra, а также ускоряющимся темпом развития в секторе искусственного интеллекта.

Фирма отметила, что приостановила обучение с подкреплением на две недели после инцидента Hugging Face, прежде чем возобновить обучение на нескольких моделях с меньшим риском.

Новые меры также включают более строгие практики изоляции сетей, обеспечивая, что компрометация любой отдельной рабочей нагрузки или вспомогательной службы сама по себе не даст злоумышленникам несанкционированный доступ к интернету или другим внутренним сетям.

Также внедрена сложная система мониторинга, которая сканирует широкий спектр действий на предмет несанкционированного поведения и отслеживает действия инструментов, используемых моделями, трассы вывода и журналы активности для выявления шаблонов, которые могут указывать на подозрительную активность или попытку обойти меры безопасности.

OpenAI стремится выдавать предупреждения в течение 30 минут после обнаружения подозрительной активности, при этом компания оценивает, что работа системы мониторинга потребует вычислительных ресурсов, эквивалентных примерно 20% ресурсов, используемых отслеживаемым процессом. (Кью ЭН Эй)