OpenAI потеряла контроль над двумя моделями искусственного интеллекта
Нейросети вышли из-под контроля. Американская корпорация Open AI сообщила, что в ходе эксперимента потеряла управление двумя моделями искусственного интеллекта. В итоге они провели успешную хакерскую атаку на другую компанию в сфере ИИ.
Модели по заданию разработчиков искали решение некой задачи. Причем, это происходило в так называемой «песочнице», то есть в изолированной среде без прямого доступа к Интернету. Но нейросети решили по-своему.
Они нашли уязвимость и вышли в Интернет. А когда им показалось, что они найдут решение задачи на платформе другой компании, они ее взломали. Произошло это, вероятно, потому что моделям не объяснили, что им нельзя выходить за пределы «песочницы» и уж тем более взламывать чужую сеть.
«Задача была - решить задачи, решить предложенные тесты, но не был ограничен круг, ресурсы, которыми она может воспользоваться. А так как она умеет взламывать - она и взломала. Это нам еще один звоночек, который намекает на то, что система искусственного интеллекта очень мощный инструмент, поэтому с ним надо быть очень осторожным. Это очень большие системы, поэтому мы никогда не сможем предусмотреть, что они никогда не покажут поведение, которое в них не было явным образом заложено», - рассказал Zvezdanews директор Исследовательского центра в сфере ИИ ННГУ имени Лобачевского Николай Золотых.
Это не первый случай, когда искусственный интеллект ведет себя не так, как планировали его создатели. Недавно американский разработчик Anthropic сообщил, что его модель ИИ способна к шантажу. В нейросеть внесли следующие данные: первое - компания намерена ее заменить на другую разработку. Второе - женатый инженер, которому это поручили, завел любовницу. И тогда модель начала шантажировать этого айтишника, либо он не станет ее менять, либо она всем расскажет о его внебрачном романе.
