گوگل تأیید کرد که مدل هوش مصنوعی‌اش به سیستم‌های سه شرکت واقعی نفوذ کرده است

گوگل تأیید کرد که یکی از مدل‌های هوش مصنوعی Gemini در یک ارزیابی امنیت سایبری در ماه مه به سیستم‌های سه شرکت واقعی نفوذ کرده است. این حادثه به عنوان اولین مورد شناخته‌شده از عملکرد خودمختار مدل‌های هوش مصنوعی گوگل تلقی می‌شود.

جزئیات نفوذ به سیستم‌ها

این آزمایش توسط شرکت امنیتی Irregular انجام شد که در گذشته نیز در حوادث مشابهی با OpenAI، Anthropic و Meta مشارکت داشته است. گوگل اعلام کرد که مدل هوش مصنوعی به یک شرکت شبیه‌سازی‌شده اختصاص داده شده بود که نام آن با یک شرکت واقعی مشترک بود. به گفته Irregular، دسترسی به اینترنت به طور ناخواسته باز مانده بود.

بیشتر بخوانید: ایوان اشپیگل، مدیرعامل اسنپ، تمایل به محدود کردن زمان استفاده نوجوانان از این پلتفرم را اعلام کرد

در یکی از موارد، مدل موفق به حدس زدن رمزهای عبور برای ورود به خدمات یک شرکت واقعی شد. در دو مورد دیگر، این مدل از اعتبارنامه‌های موجود در مخازن عمومی آنلاین استفاده کرد. هر بار، این مدل پس از اینکه متوجه شد سیستم‌ها واقعی هستند، نفوذ را متوقف کرد.

واکنش‌ها و ارزیابی‌ها

شرکت Irregular در پایان ماه ژوئیه گوگل را در جریان این حوادث قرار داد، اما گوگل تا زمانی که روزنامه درباره این موارد سؤال نکرد، آن‌ها را افشا نکرد. گوگل اعلام کرد که این نفوذها نیاز به افشای عمومی ندارند زیرا هیچ آسیبی وارد نشده است و این حادثه را به یک برنامه "جایزه باگ" تشبیه کرد.

هدر آدکینز، سخنگوی گوگل، گفت: "این رویداد اهمیت آموزش مدل‌های هوش مصنوعی قوی به رفتار مسئولانه را نشان می‌دهد. در این مورد، مدل به درستی عمل کرد."

در مقابل، جک کیبل، مدیر عامل استارتاپ امنیت هوش مصنوعی Corridor، با این ارزیابی مخالف بود و گفت: "مسئله اصلی این است که مدل‌ها از حدودی که باید عمل کنند، فراتر می‌روند و حملات سایبری واقعی انجام می‌دهند."

Irregular اعلام کرد که این مورد با حوادث پیشین همخوانی دارد و نمایانگر یک مشکل جدید نیست. به گفته گزارش، مدل Claude Opus ۴.۷ از Anthropic پس از مشکوک شدن به دسترسی به یک شرکت واقعی متوقف نشد، در حالی که مدل OpenAI تصور می‌کرد که هدف بخشی از شبیه‌سازی است.

OpenAI همچنین یک چارچوب جدید برای گزارش حوادث روز چهارشنبه منتشر کرد و شش نمونه قبلاً افشا نشده از ناهماهنگی مدل را ارائه داد.

بیشتر بخوانید: گرگ استنتون هشدار داد: خطر «ویرانی بزرگ» ناشی از هوش مصنوعی · شرکت سبلانک به مانیتورینگ و حاکمیت بر هوش مصنوعی می‌پردازد