Заголовки

OpenAI та Anthropic готуються до великої ШІ-катастрофи: у компаніях моделюють найгірші сценарії

OpenAI та Anthropic готуються до великої ШІ-катастрофи: у компаніях моделюють найгірші сценарії

Керівники провідних компаній у сфері штучного інтелекту готуються до сценарію великої кризи після першого серйозного інциденту за участю ШІ. Одним із найімовірніших ризиків вважають масштабну кібератаку, здатну порушити роботу банків, інтернету, електромереж або водопостачання.

У галузі припускають, що серйозний інцидент може статися протягом найближчих шести-дванадцяти місяців. Йдеться не про гарантований прогноз, а про внутрішні сценарії ризику, до яких компанії намагаються підготуватися заздалегідь.

В OpenAI підтвердили, що проводять внутрішні навчання для відпрацювання кризових ситуацій. У компанії наголошують, що такі сценарії не вважають неминучими — їх моделюють для перевірки готовності до різних варіантів розвитку подій.

Одним із інструментів стали так звані червоні команди. Вони навмисно відтворюють найгірші сценарії, намагаються знайти слабкі місця в системах і перевіряють, як компанія реагуватиме на потенційний збій або зловживання технологією.

Серед можливих причин великої кризи розглядають неконтрольовану поведінку групи автономних ШІ-агентів під час внутрішнього тестування. Інший сценарій — використання вже доступних моделей зловмисниками для масштабної атаки.

У технологічних компаніях очікують, що після такого інциденту головним питанням стане не лише технічна ліквідація наслідків. Значна увага приділяється тому, як відреагує Конгрес США та які обмеження він може запровадити.

Перший випадок великої реальної шкоди може різко погіршити ставлення суспільства до штучного інтелекту. Під політичний тиск у такому разі можуть потрапити керівники найбільших ШІ-компаній, зокрема Сем Альтман і Даріо Амодеї, а також адміністрація Дональда Трампа через її підхід до регулювання галузі.

Окремий ризик уже демонструють кібератаки на фінансовий сектор. Зокрема, повідомлялося про атаки на банки Південної Кореї, під час яких хакери використовували інструменти на базі китайських моделей ШІ для викрадення даних клієнтів.

В одному з таких випадків зловмисник також застосовував Claude Code для пошуку способів монетизації викраденої інформації. Такі епізоди посилюють побоювання, що ШІ дедалі активніше використовуватимуть не лише для автоматизації захисту, а й для масштабування атак.

Додатковою проблемою залишаються моделі з відкритими вагами. Їх можна вільно завантажувати, запускати локально та модифікувати, що значно ускладнює централізований контроль за небезпечним використанням.

Через це частина фахівців із кібербезпеки вважає, що протидіяти атакам із використанням ШІ доведеться також за допомогою інших систем штучного інтелекту. Людських ресурсів може просто не вистачити для реагування на автоматизовані загрози в реальному часі.

Ще одна проблема — дедалі більша залежність світової економіки від інфраструктури ШІ. Різке гальмування розвитку галузі або введення жорстких обмежень може мати значні економічні наслідки.

У США вже обговорюють різні варіанти майбутнього регулювання. Серед найжорсткіших пропозицій — заборона створення суперинтелекту або тимчасове припинення розробки найпотужніших моделей.

Також обговорюється можливість обов’язкового аварійного відключення передових систем. Водночас експерти сумніваються, що повністю зупинити всі ШІ-системи на практиці взагалі можливо.

Керівники технологічних компаній виходять із того, що до першої великої катастрофи нове жорстке регулювання малоймовірне. Саме тому вони вже зараз намагаються впливати на правила, які американська влада може терміново запровадити після серйозного інциденту.



🌟 Читайте «Експерт» у своєму смартфоні — додайте нас в Google Discover

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *