בשורה של ממש לעיוורים: גוגל תתתרגם שפת סימנים לטקסט בזמן אמת

גוגל חשפה את SL2T, מודל בינה מלאכותית חדש שנועד לתרגם שפת סימנים לטקסט כתוב בזמן אמת.

היכולת תגיע תחילה למכשירי Pixel 11 ותשולב במקלדת Gboard ובאפליקציית Live Transcribe. בשלב הראשון היא תתמוך בתרגום משפת הסימנים האמריקאית, ASL, לאנגלית.

המודל מזהה תנועות ידיים, זרועות, גוף והבעות פנים, ומתרגם אותן ישירות לטקסט זורם. בניגוד למערכות קודמות, הוא אינו עובר דרך שלב ביניים של תרגום כל סימן למילה, אלא מנתח את התנועה וההקשר באופן ישיר.

ב-Google מדגישים כי עיבוד צילום המצלמה מתבצע במכשיר עצמו. הווידאו נמחק מיד, ורק נקודות ציון גיאומטריות של הגוף נשלחות למודל לצורך התרגום.

לפי החברה, SL2T הוכשר על נתונים מגוונים הכוללים דיאלקטים ורמות מיומנות שונות, והוא תומך גם במשתמשים שמאליים ובסימון ביד אחת בזמן החזקת הטלפון.

השילוב ב-Gboard יאפשר להשתמש בשפת סימנים בכל מקום שבו נדרשת הקלדה, כמו חיפוש, כתיבת הודעות או פנייה ל-Gemini. ב-Live Transcribe ניתן יהיה להשיב בשפת סימנים במהלך שיחה במקום להקליד.

בשלב זה המודל אינו תומך בשפת הסימנים הישראלית, השונה מ-ASL באוצר הסימנים ובמבנה הדקדוקי. Google צפויה להרחיב בהמשך את התמיכה לשפות סימנים נוספות, בהתאם לזמינות מאגרי אימון מתאימים.