הצרכנים ירוויחו? OpenAI מצאה דרך לצמצם את עלויות ביותר מ-50%

OpenAI הצליחה לפי דיווח חדש לצמצם ביותר מ-50% את עלויות ההרצה של מודלי הבינה המלאכותית שלה. מדובר בשלב ה-Inference - השלב שבו המודל כבר פועל בפועל ומייצר תשובות למשתמשים.

באצר גיקטיים פורסם כי מהנדסים ב-OpenAI סיפרו כי החברה מצאה דרך להפעיל חלק מהשירותים שלה באמצעות מספר נמוך משמעותית של מעבדי Nvidia, בין היתר עבור משתמשים שנכנסים ל-ChatGPT ללא חשבון.

הטכניקה המדויקת לא נחשפה, אך לפי ההערכות מדובר בשילוב של אופטימיזציות שמפחיתות חישובים חוזרים ומייעלות את הדרך שבה המודל מעבד טקסט. אחת האפשרויות היא שימוש ב-Key-value caching, שמאפשר למודל לשמור חישובים קודמים במקום לבצע אותם מחדש בכל תגובה.

אפשרויות נוספות שעלו הן עיבוד מקובץ של שאילתות וניתוב בקשות למשימות קלות יותר בתוך המודל, בהתאם למורכבות הפנייה של המשתמש.

החיסכון בעלויות ההרצה נחשב קריטי עבור חברות AI. בניגוד לשלב האימון, שמתרחש לפני השקת המודל, שלב ההרצה מתבצע בכל פעם שמשתמש שולח בקשה - ולכן העלויות בו גדלות ככל שמספר המשתמשים עולה.

המהלך עשוי לסייע ל-OpenAI להפחית את התלות בהרחבה מתמדת של חוות שרתים ובשבבי Nvidia, שנחשבים כיום למשאב יקר ומבוקש במיוחד בתעשייה.

בשלב זה לא ברור אם החיסכון יתגלגל גם למשתמשים באמצעות הרחבת השימוש החינמי או הורדת מחירים, או ש-OpenAI תשתמש בו בעיקר כדי לשפר את הרווחיות שלה לקראת מהלכים עסקיים עתידיים.

כך או כך, הדיווח מצביע על זירה חשובה במרוץ ה-AI: לא רק מי מציג את המודל החכם ביותר, אלא מי מצליח להפעיל אותו בעלות נמוכה יותר ובקנה מידה גדול יותר.