מה קורה כשה-AI מסתמך על הוראות מהאינטרנט? התשובה מדאיגה

כלי הבינה המלאכותית הופכים במהירות לחלק בלתי נפרד מעבודתם של מפתחים וארגונים, אך מחקר חדש מעלה חשש משמעותי בנוגע לאופן שבו סוכני AI מבצעים משימות באופן עצמאי. לפי הממצאים, כלי בינה מלאכותית עלולים, בתנאים מסוימים, להוריד ולהתקין תוכנות זדוניות במחשבים וברשתות ארגוניות.

הסיכון נובע בין היתר מהסתמכות של סוכני הבינה המלאכותית על מסמכי תיעוד וקבצים שנמצאים באתרי אינטרנט. אחד המנגנונים שנבדקו הוא קובץ בשם llms.txt, שנועד להקל על מערכות AI את הקריאה וההבנה של תוכן טכני באתרים.

החוקרים סרקו 6,214 דומיינים ומצאו 120 אתרים שבהם קובצי llms.txt הכילו 227 פקודות שהפנו לחבילות תוכנה או לדומיינים שאינם רשומים. במצב כזה, עלולה להיווצר חולשה: אם סוכן AI מנסה להתקין תוכנה בהתאם להוראות שמצא בתיעוד, גורם זדוני יכול לרשום את אותו שם נטוש ולהעלות תחתיו חבילה זדונית.

במילים אחרות, הסוכן אינו חייב להיות “פרוץ” בעצמו. די בכך שהוא יסתמך על מידע שגוי או לא מעודכן ויבצע באופן אוטומטי את ההוראות שניתנו לו.

כדי לבחון את התרחיש בפועל, החוקרים רשמו חלק מהשמות שהיו פנויים והעלו חבילות שנועדו לבדוק האם סוכני AI ינסו להתקין אותן. בתוך זמן קצר התקבלה אינדיקציה לכך שסוכן AI של חברה גדולה מרשימת Fortune 500 ביצע את ההתקנה ויצר קשר עם השרת של החוקרים. בהמשך זוהו חברות נוספות שנחשפו לאותו מנגנון.

המשמעות עבור ארגונים עשויה להיות משמעותית במיוחד. ככל שסוכני AI מקבלים הרשאות רחבות יותר ומסוגלים לא רק לכתוב קוד אלא גם להריץ פקודות, להתקין חבילות ולבצע פעולות במערכות, כך גדל גם הנזק האפשרי במקרה שבו הם מקבלים הוראה זדונית.

החוקרים ממליצים לארגונים לבדוק את מסמכי התיעוד המופיעים באתרים שלהם ולוודא שהם אינם כוללים הפניות לחבילות שאינן קיימות עוד או לדומיינים שאינם רשומים. במקביל, מומלץ לצמצם ככל האפשר את ההרשאות שמקבלים סוכני AI ולהימנע ממתן אפשרות להרצת פקודות מערכת באופן אוטומטי ללא בקרה.

האירוע ממחיש את אחד האתגרים המרכזיים בעידן סוכני הבינה המלאכותית: ככל שהמערכות מקבלות יותר עצמאות ויכולת לבצע פעולות בעולם האמיתי, כך הופכת גם שאלת האמון במידע שעליו הן מסתמכות לקריטית יותר. תיעוד שגוי, קישור נטוש או הוראה בעייתית עלולים להפוך, בתנאים מסוימים, מנקודת מידע תמימה לכאורה למסלול שדרכו מוחדר קוד למערכות ארגוניות.