למה AI ממציא דברים
שאלתם שאלה, קיבלתם תשובה מנוסחת להפליא, ובדקתם, ומסתבר שהיא לא נכונה. וזה קרה בלי שום סימן אזהרה.
מה תדעו בסוף
תדעו לזהות מראש באילו סוגי שאלות המודל צפוי להמציא, ותדעו לנסח בקשה שמורידה את הסיכוי לזה.
מנהלת הדרכה בחברה בינונית ביקשה סיכום של תקנות חדשות בתחום שלה. קיבלה שלוש פסקאות מסודרות, עם מספרי סעיפים. היא העבירה את זה הלאה. יומיים אחר כך התברר שאחד מהסעיפים לא קיים.
מה שהכי הפריע לה זה לא שהייתה טעות. זה שלא היה שום דבר בתשובה שרמז שיש בעיה. אותו ביטחון בדיוק, אותו ניסוח, אותה רהיטות.
העיקרון: המודל לא יודע, הוא משלים
הדבר הכי שימושי להבין על מודל שפה הוא שהוא לא מאגר מידע שמחפשים בו. הוא מכונה שמנחשת מה המילה הסבירה הבאה, שוב ושוב, עד שנוצר טקסט.
זה נשמע מזלזל, אבל זה בדיוק ההפך: הניחוש הזה מדויק להדהים ברוב המקרים, כי כדי לנחש נכון את המילה הבאה בהסבר על חוזי עבודה, צריך להבין די הרבה על חוזי עבודה. ההבנה נוצרת כתוצר לוואי של המשימה.
הבעיה מתחילה בדיוק שם. המשימה של המודל היא להשלים טקסט סביר, לא לומר אמת. כשהוא לא יודע משהו, אין לו מנגנון שעוצר ואומר “אין לי את זה”. יש לו רק מנגנון שממשיך להשלים, והוא ימשיך להשלים בדיוק באותה רהיטות ובאותו ביטחון.
זו הסיבה שהטעויות שלו מסוכנות במיוחד: הן לא נראות כמו טעויות. אדם שלא בטוח נשמע לא בטוח. מודל שלא בטוח נשמע בדיוק כמו מודל שכן.
שלושת סוגי השאלות שבהן זה קורה הכי הרבה
אחרי מספיק שימוש מזהים דפוס. ההמצאות מתרכזות במקומות צפויים:
- פרטים ספציפיים ומאומתים. מספרי סעיפים, תאריכים, שמות של אנשים, ציטוטים מדויקים, קישורים, מספרי טלפון. ככל שהפרט יותר ספציפי ופחות מפורסם, כך גדל הסיכוי שהוא הומצא.
- מידע פנימי שאין לו גישה אליו. נהלים שלכם, החלטות הנהלה, נתוני מכירות. הוא לא יגיד “אני לא מכיר את הארגון שלכם”, הוא ימציא משהו שנשמע כמו נוהל סביר.
- דברים שקרו לאחרונה. לכל מודל יש נקודה שבה האימון שלו נעצר. שאלה על משהו שקרה אחריה תקבל תשובה שנשמעת עדכנית ולא בהכרח כזו.
מה שלא נמצא ברשימה חשוב לא פחות. ניסוח מחדש של טקסט שנתתם, סיכום של מסמך שהעליתם, תרגום, שינוי סגנון, הפקת רשימה מתוך חומר קיים — בכל אלה המודל עובד על חומר שיש לו מול העיניים, ושיעור ההמצאה יורד דרמטית.
ההדגמה: אותה שאלה, שני ניסוחים
הניסוח שמזמין המצאה:
מה אומרות התקנות בנושא שעות נוחות בישראל?הניסוח שמקטין אותה:
מצורף מסמך התקנות. סכם ממנו את מה שרלוונטי לשעות עבודה,
וציין ליד כל נקודה את מספר הסעיף שממנו לקחת אותה.
אם משהו שאני שואל עליו לא מופיע במסמך, כתוב "לא מופיע"
במקום להשלים מהידע הכללי שלך.ההבדל הוא לא בניסוח היפה. ההבדל הוא ששינינו את המשימה: מ”ספר לי מה אתה יודע” ל”מצא לי את זה בתוך החומר הזה”. השאלה השנייה ניתנת לאימות בעשר שניות. הראשונה לא.
שלוש טעויות שרואים בכל ארגון
- לבקש מהמודל לאמת את עצמו. “אתה בטוח?” יגרום לו לפעמים לשנות תשובה נכונה לשגויה, כי הוא קורא את השאלה כאיתות שטעה. הוא לא בודק, הוא מנחש מחדש.
- להניח שקישור שהוא נתן קיים. קישורים הם בדיוק סוג הפרט הספציפי שנוטה להיות מומצא. תמיד לפתוח לפני שמעבירים הלאה.
- להסיק שאם הוא צדק בעשר שאלות הוא יצדק באחת עשרה. הדיוק שלו לא אחיד, הוא תלוי בסוג השאלה. עשר שאלות מסוג אחד לא מעידות על שאלה מסוג אחר.
התרגיל, חמש עשרה דקות
קחו שאלה אמיתית שאתם עומדים לשאול השבוע בעבודה. שאלו אותה פעמיים: פעם אחת כשאלה פתוחה, ופעם שנייה כשאתם מצרפים את המסמך הרלוונטי ומבקשים לציין מאיפה בדיוק נלקחה כל נקודה.
השוו את שתי התשובות, ובעיקר: בדקו כמה זמן לוקח לכם לאמת כל אחת מהן.
עד כאן לבד
את העיקרון הזה הבנתם בשבע דקות, ותוכלו להשתמש בו כבר היום. מה שקשה יותר הוא לגרום לארבעים אנשים בארגון להפנים אותו — במיוחד למי שכבר קיבל תשובה טובה שלוש פעמים ברציפות והפסיק לבדוק.
זה לא משהו שמאמר יכול לעשות בשבילכם. אנחנו עושים את זה בסדנה, על מסמכים אמיתיים של הארגון, ובדרך כלל לוקח פעם אחת שמישהו נתפס בטעות שלו כדי שזה יישאר. ככה זה נראה אצלנו.