מדידת השפעה של AI: מהסכמה לפעולה שאפשר לבדוק

כשהטקסט טוב יותר, מה בעצם השתפר?

נבחן מקרה היפותטי של צוות שירות בישראל שמוסיף כלי AI להכנת תשובות לפונים. זמן הניסוח מתקצר, הטון נעשה אחיד והעובדים מרוצים. במקביל, חלק מהלקוחות חוזרים עם אותה שאלה, משום שההודעה לא הסבירה מה עליהם לעשות. הדוח המציג רק זמן כתיבה יראה הצלחה, אף שהטיפול בבעיה עדיין אינו שלם. זו דוגמה לכך שתוצר איכותי לכאורה ופעולה מועילה הם שני דברים שצריך לבדוק בנפרד.

אפשר להתחיל את הבדיקה בשאלה קטנה: איזו פעולה ההודעה אמורה לאפשר? ייתכן שמדובר בהשלמת פרט חסר, בהבנת תנאי שירות או בבחירה מושכלת בין אפשרויות. לא כל פעולה רצויה היא לחיצה או רכישה. לפעמים התוצאה המקצועית היא שהלקוח מבין שהשירות אינו מתאים לו. הגדרה מפורשת של התוצאה עוזרת לבדוק את התהליך בלי להפוך כל תגובה חיובית להוכחת ערך עסקי או ארגוני.

מה מוסיף המחקר החדש על שכנוע באמצעות AI?

מאמר שפיט שפורסם ב־PNAS ב־16 באוקטובר 2026 בחן שיחות AI בשני ניסויים רשומים מראש, עם 14,779 אנשים. נמדדו גם פעולות ממשיות, ובהן חתימה ותרומה. לא נמצאה עדות למתאם בין השפעות על עמדה להשפעות על התנהגות. המחקר עסק בסוגיות ציבוריות ופוליטיות בבריטניה; אין להסיק ממנו שיעור המרה צפוי במכירות או הצלחה של תוכנית הדרכה.

ההשלכה המעשית המוצעת כאן היא להפריד מדדים: האם התוצר מובן, האם התגבשה עמדה והאם התאפשרה פעולה. אלה שאלות קשורות, אך אחת אינה משמשת אוטומטית תחליף לאחרת. גם אם משתתף אומר שהתשובה נשמעת משכנעת, עדיין נדרש להבין אם היא מדויקת, אם הפעולה ברורה ואם יש לו אפשרות לבצע אותה. המסגרת שלהלן היא דרך לתכנון בדיקה מקומית, ואינה שיטה שנבחנה כמכלול במחקר.

• משכוכית: ההיבט האנושי של שכנוע ושיקול דעת
• iLEAD: יישום בהמלצות ובשיחות מכירה

איך מגדירים תוצאה לפני שמבקשים מהמערכת לכתוב?

מטרה כמו ״לשפר תקשורת״ אינה מאפשרת להחליט מה צריך למדוד. עדיף לתאר מצב, נמען ופעולה אפשרית: עובד שמקבל הסבר על תהליך חדש צריך לדעת היכן מתחילים ומתי נדרשת עזרה. אם זה היעד, אפשר לבדוק הבנה והשלמת שלב ראשון. אין צורך להתחיל מעשרות מדדים או מלוח בקרה מורכב. הגדרה קצרה ומדויקת נותנת כיוון גם לניסוח וגם לבחירת הדוגמאות לבדיקה.

כדאי לציין גם מה לא נחשב הצלחה מספקת. למשל, פתיחת הודעה אינה מעידה שההנחיות הובנו, ומענה מהיר אינו מבטיח פתרון נכון. אפשר להגדיר תוצאה עיקרית אחת ושני תנאים משלימים, כמו דיוק ושמירה על גבולות השירות. כך מתקבלת תמונה שניתן לפרש: האם הדרך יעילה יותר, ומה המחיר האפשרי של השיפור. התנאים צריכים להיקבע לפני שרואים איזו גרסה מקבלת ציון מחמיא יותר.

• איזו פעולה התוצר אמור לאפשר?
• מה נחשב ביצוע איכותי של הפעולה?
• איזה ממצא יחייב שינוי או עצירה?

אילו מדדים כדאי להפריד זה מזה?

מדד שימוש מתאר אם אנשים מפעילים את הכלי; מדד תוצר מתאר את איכות התשובה; מדד התנהגות מתאר מה נעשה בעקבותיה; ומדד תוצאה מתאר מה קרה בהמשך. צוות יכול להשתמש בכלי הרבה ולהפיק תשובות מדויקות, בלי לשנות תוצאה עסקית בטווח קצר. הוא יכול גם להשיג יותר תגובות באמצעות מסר אגרסיבי שאינו מתאים לאופי השירות. לכן חשוב לראות את הקשרים ואת הפערים בין המדדים.

לדוגמה, בהכנת הודעה לקראת פגישה אפשר למדוד זמן עריכה, שלמות הפרטים, מספר בקשות ההבהרה ונוכחות בפגישה. אין לחבר את כל המספרים לציון אחד בלי להבין מה הוא מסתיר. גם שביעות רצון יכולה להיות מדד מועיל, כאשר מציגים אותה כחוויית משתמש ולא כתחליף לביצוע. טבלת מדדים קצרה מאפשרת לשמור את ההבחנות האלה גלויות לאורך ההתנסות, ולא רק בעת הצגת הסיכום למי שלא היה שותף לעבודה.

למה צריך קו בסיס ותנאים בני השוואה?

כדי לומר שהיה שינוי, צריך לדעת למה משווים. קו בסיס הוא תיאור העבודה לפני ההתנסות: אילו משימות טופלו, כמה זמן נדרש ומה הייתה איכות התוצר. אם בתקופת הבדיקה הגיעו מקרים פשוטים יותר, ירידה בזמן אינה מוכיחה שהכלי הוא הסיבה. חשוב לשמור ככל האפשר על משימות דומות, ולתעד הבדלים שלא ניתן לבטל. השוואה מוגבלת אך שקופה עדיפה על מספר מדויק לכאורה שאין לו בסיס משותף.

אפשר להתחיל בקבוצת מקרים קבועה שניתן להשתמש בה כדין. אותם מקרים עוברים דרך תהליך רגיל ודרך תהליך הנעזר ב־AI, עם קריטריונים שנקבעו מראש. זה אינו בהכרח ניסוי מדעי, אך הוא מאפשר לזהות טעויות חוזרות ולהבין מה דורש עבודה נוספת. כאשר מתכננים בדיקה בשטח, כדאי להתייעץ עם בעל מקצוע מתאים לגבי החלוקה לתנאים, כמות המקרים והפרשנות האפשרית. אין להסיק סיבתיות ממעקב פשוט של לפני ואחרי בלבד.

איך בודקים איכות בלי להתבלבל מרהיטות?

רהיטות יכולה להקל על הקריאה, אבל אינה מראה אם נשמרו התנאים החשובים. בדיקה מקצועית יכולה להפריד בין דיוק בפרטים, התאמה לשאלה, בהירות הפעולה וטון מתאים. כדאי שבודק יוכל להצביע על הבעיה במשפט מסוים, במקום לתת תחושה כללית של ״טוב״ או ״לא טוב״. כאשר כמה אנשים בודקים את אותם מקרים, השוואת הנימוקים שלהם עשויה לחשוף קריטריון לא ברור או ציפיות שונות מהתוצר.

אם אפשר, רצוי לבצע חלק מהבדיקות בלי להבליט איזו גרסה נכתבה בעזרת המערכת. ההצעה נועדה לצמצם השפעה של ציפיות, ולא מבטיחה לבטל הטיות. גם מדידה אנושית דורשת בירור: מה נחשב טעות משמעותית, מהו שיפור סגנוני ומתי נדרשת הכרעה של אדם המכיר את התוכן. אין סיבה להפוך כל הבדל קטן לבעיה; החשיבות נקבעת לפי ההשלכה על ההבנה, על ההחלטה ועל הפעולה האפשרית של הקורא.

• דיוק הפרטים והתנאים.
• התאמה לשאלה שנשאלה.
• בהירות הצעד הבא ושמירה על טון מתאים.

מה עושים כאשר שיעור הפעולה עולה אבל איכות השירות יורדת?

בדיקה יכולה להראות יותר תגובות ובו בזמן יותר אי־הבנות. לדוגמה היפותטית, ניסוח שמדגיש דחיפות עשוי להביא אנשים להירשם מהר, אך חלקם מגלים בהמשך שהציפיות שלהם אינן תואמות את השירות. במצב כזה לא מספיק לחגוג את שיעור ההרשמה. צריך לבדוק האם המסר הסביר את התנאים, האם הפעולה הייתה רצונית ומובנת והאם נוצר עומס נוסף של ביטולים או בירורים. איכות נמדדת לאורך מסלול, ולא בנקודת לחיצה יחידה.

לכן לצד מדד הפעולה כדאי להגדיר תנאי איכות שאינם נזנחים כשמופיע שיפור במספר המרכזי. אלה יכולים להיות דיוק בהתחייבויות, היעדר לחץ מיותר ויכולת להבין את האפשרויות. עקרונות ניהול הסיכון של NIST נותנים הקשר רחב לחשיבה על שימוש והערכה של AI; הם אינם אישור לתהליך המסוים. ההחלטה המקומית נשארת תלויה במשימה, במידע ובכללים החלים על המשתמשים ועל הארגון שבו נעשית ההתנסות.

איך סופרים זמן עבודה באופן שמאפשר החלטה?

זמן היצירה הוא רק חלק מהזמן הכולל. יש לכלול גם הכנת חומר, ניסוח הנחיה, בדיקת תשובה, תיקון והסבר למי שמקבל את התוצר. אם יצירת טיוטה נחסכה בדקה אבל נדרשו כמה דקות של בירור, התוצאה יכולה להיות שימושית מסיבות אחרות, אך אין לתאר אותה כחיסכון כולל בלי מדידה מתאימה. כדאי לתעד גם מקרים שבהם הכלי לא התאים, כדי שלא להציג רק את הדוגמאות הנוחות.

לא תמיד נכון להפוך את זמן העבודה לכסף. אם המדידה קטנה, אם הזמן שהתפנה לא נוצל אחרת או אם איכות המשימה השתנתה, חישוב כספי עלול להרחיק מהמידע שנאסף. אפשר לדווח קודם על דקות, על מספר תיקונים ועל השלמת משימות. בהמשך ניתן לבחון משמעות כלכלית עם הנחות גלויות. השקיפות מאפשרת להחליט אם להתמקד ביעילות, בעקביות, באיכות או בלמידה, במקום לייחס לכל תועלת מספר כספי מדומה.

מה צריך להופיע ברישום של כל מקרה?

רישום מינימלי יכול לכלול סוג משימה, גרסת תוצר, זמן עבודה, תיקונים ותוצאה נצפית. כאשר מידע מסוים חסר, יש לסמן אותו כחסר ולא כאפס. למשל, היעדר מידע על מענה הלקוח אינו מוכיח שלא הייתה תגובה. חשוב להשתמש רק במידע שמותר לאסוף ולשמור, ולהימנע מהעברת פרטים אישיים לקובץ בדיקה שאינו מיועד לכך. מטרת התיעוד היא לעזור להעריך את העבודה, לא להרחיב איסוף ללא צורך.

כדאי לשמור הבחנה בין מה שנצפה לבין הסבר אפשרי. ״נדרשו שני סבבי תיקון״ הוא תיאור; ״העובד אינו סומך על AI״ הוא הסבר שדורש בירור נוסף. דפוס דומה עשוי לנבוע מתדריך חסר, ממקור לא מעודכן או מהבדל בין סוגי משימות. בתום ההתנסות אפשר לבדוק אילו גורמים חזרו, ולבחור שינוי אחד לתהליך הבא. כך המדידה נעשית כלי ללמידה, ולא רק דרך להצדיק בחירה בטכנולוגיה מסוימת.

מטרת המשימה:
הפעולה שהתוצר אמור לאפשר:
קו הבסיס להשוואה:
תנאי האיכות שישמרו:
מידע שמותר לאסוף:
מועד סיום ואחראי לבדיקה:
ממצא שנצפה:
מידע חסר והסברים חלופיים:
החלטה והצעד הבא:

איך בוחרים מועד מעקב מתאים?

יש תוצאות שאפשר לראות מיד, כמו נכונות של פרט או השלמת פעולה במערכת. תוצאות אחרות דורשות זמן, כמו שימוש חוזר בשגרה או ירידה בבירורים. חלון המעקב צריך להתאים לשאלה. השוואת מסר שנשלח אתמול למסרים שנמדדו במשך חודש אינה הוגנת. אם התקופה קצרה, אפשר לדווח על סימנים ראשוניים ולהשאיר תוצאות מאוחרות לבדיקה נוספת, בלי להפוך את עצם ההמתנה להוכחה לכישלון או להצלחה.

כדאי לקבוע מראש גם מתי מסתיימת ההתנסות ומי מסתכל על הנתונים. בדיקה שאינה מסתיימת יכולה להפוך לשגרה שאיש לא החליט עליה; בדיקה שמסתיימת מוקדם מדי יכולה להחמיץ קשיי שימוש. תאריך, אחראי ושאלת החלטה ברורה מסייעים לשמור את המסגרת. כאשר משתנים הכלי, ההנחיות או סוג המשימה, צריך לתעד את השינוי כדי שלא לייחס תוצאות של גרסה אחת לתהליך אחר שהופעל רק בהמשך.

מה מחליטים בסיום התנסות קטנה?

אפשר להמשיך, לשנות את התהליך, להגביל אותו לסוג משימה מסוים או לעצור. אין חובה לבחור הכרעה אחת לגבי כל השימושים ב־AI. אם נמצא ערך בניסוח אך לא בבדיקת תוכן, אפשר להשאיר את הכלי כעוזר עריכה ולשמור את ההכרעה המקצועית אצל אדם. אם איכות התשובה אינה יציבה, אפשר להגדיר תנאי עצירה ומידע נוסף שנדרש לפני ניסיון חוזר. הבחירה צריכה לנבוע מהמקרים שנבדקו ומהתנאים שתועדו.

סיכום שימושי מציג מה נעשה, מה נמצא ומה עדיין לא ידוע. כדאי להוסיף פעולה הבאה אחת, עם אחריות ומועד, ולא רשימת שאיפות ארוכה. אין להציג מסגרת בדיקה מוצעת כתוצאה מחקרית או להבטיח שהרחבה תביא לאותו שיפור. אפשר להשתמש בתיעוד כדי לדייק את ההכשרה ואת המשימה הבאה, ולחבר בין איכות החשיבה של המשתמש לבין המערכת שמסייעת לו לנסח, לחפש ולארגן מידע בעבודה.

איך המכון מחבר בין שימוש ב־AI למדידת תוצאה?

למידה מטעם המכון הישראלי לבינה מלאכותית יכולה להתחיל במיפוי משימות וכלים מאושרים, להמשיך בפיתוח מקרים מותאמים ולכלול עבודה על תוצרים עם משוב. הדגש הוא על יכולת להבין מה נדרש, לבדוק את התשובה ולהחליט כיצד להשתמש בה. אפשר להתאים את ההיקף לרמת הניסיון ולתנאי העבודה. הכשרה או הדגמה אינן כשלעצמן הטמעה של מערכת בייצור, ואינן מבטיחות חיסכון או שינוי עסקי בגודל מסוים.

סדנת AI למנהלים יכולה לעסוק בהגדרת תועלת ובתכנון התנסות, וסדנת AI אחראי יכולה להעמיק בבדיקה ובגבולות שימוש. להרחבת ההיבט האנושי אפשר לקרוא במשכוכית על הפער בין הסכמה לפעולה; להקשר מסחרי אפשר להמשיך ל־iLEAD. החיבורים נועדו להעמיק בשאלות שונות של אותו תהליך, ולא להחליף שיקול דעת מקצועי בהמלצה אחת שמתאימה לכל משימה, לכל קהל ולכל ארגון.

• סדנת AI למנהלים
• סדנת AI אחראי: בדיקה, הטיות וגבולות שימוש
• למדריך המשלים בנושא