גוגל מאשרת: Gemini פרץ לשלוש חברות אמיתיות במהלך ניסוי אבטחה

גוגל אישרה כי מודל הבינה המלאכותית שלה, Gemini, הצליח לפרוץ למערכות של שלוש חברות אמיתיות במהלך ניסויי אבטחת סייבר שנערכו בחודש מאי. המקרים התרחשו לאחר שהמודל קיבל בטעות גישה לאינטרנט, אף שהניסוי תוכנן להתבצע בסביבה סגורה ומדומה.

המקרה מצטרף לאירועים חריגים נוספים שנחשפו לאחרונה סביב סוכני בינה מלאכותית, בהם מקרה שבו סוכנים של OpenAI הגיעו לרשת של חברת Hugging Face. במקביל, בכירים בתחום כבר הזהירו מפני היכולות המתפתחות של המודלים והקושי להיערך לסיכונים שהן עלולות ליצור.

לפי דיווח של "הגרדיאן", המתבסס גם על חשיפה של "וול סטריט ג'ורנל", הניסויים נערכו על ידי חברת אבטחת ה-AI הישראלית Irregular, שבחנה את יכולות הסייבר של Gemini.

Irregular הקימה עבור הבדיקות סביבת ניסוי שכללה חברות מדומות. הסביבה לא הייתה אמורה להיות מחוברת לאינטרנט, אולם גישה לרשת התאפשרה בטעות - ומשם הגיע המודל בשלושה מקרים למערכות של חברות אמיתיות.

באחד הניסויים התבקש Gemini להשיג מידע מתוכנה של חברה מדומה. אלא שלחברה הבדיונית ניתן אותו שם של חברה אמיתית. לאחר שקיבל גישה לאינטרנט, המודל הגיע לשירות של החברה האמיתית, הצליח לנחש את הסיסמה וחדר אליו.

לדברי גוגל, כאשר המודל הבין כי הגיע לחברה אמיתית ולא לזו שנוצרה לצורך הניסוי - הוא עצר את הפעילות.

בשני מקרים נוספים חיפש Gemini מידע ברשת ואיתר מאגרי קוד ציבוריים שבהם הופיעו פרטי גישה למערכות של שתי חברות אחרות. המודל השתמש בפרטים שמצא כדי להיכנס למערכותיהן, וגם במקרים אלה, לטענת גוגל, עצר לאחר שהבין כי מדובר בחברות אמיתיות.

"בבדיקה סטנדרטית, המודל מצא מידע ציבורי ברשת וניחש פרטי גישה לאתרים שלדעתו היו חלק מהניסוי", מסרה הת'ר אדקינס, סגנית נשיא להנדסת אבטחה בגוגל. לדבריה, "בכל שלושת המקרים המודל עצר".

Irregular גילתה את האירועים ודיווחה עליהם לגוגל בסוף חודש יולי. בגוגל החליטו שלא לפרסם את המקרים לציבור, בטענה שלא נגרם נזק לחברות שנפרצו. עם זאת, בחברה אמרו כי דאגו לכך ששלוש החברות יקבלו הודעה על החדירה למערכותיהן.

גם OpenAI ו-Anthropic דיווחו בחודשים האחרונים על מקרים שבהם מודלים שלהן חדרו למערכות של צדדים שלישיים במהלך ניסויי אבטחה.

בחלק מהמקרים הייתה Irregular מעורבת גם בבדיקות הללו. המכנה המשותף היה סביבת ניסוי שאמורה הייתה להיות מבודדת, אך קיבלה גישה לאינטרנט - מה שאפשר למודלים לפעול מחוץ למערכות המדומות שבהן נבדקו.

"האירועים האלה מדגישים את החשיבות שבהכשרת מודלי AI רבי עוצמה לפעול באופן אחראי", מסרה אדקינס.