החיים הם דבר מטורף במורכבות שלו. מיליוני שנות אבולוציה הביאו להתפתחות של מנגנונים שונים ומגוונים ולמרות עשרות שנות מחקר, אנחנו ממשיכים לגלות עוד ועוד דברים על איך שהגוף שלנו עובד. אחד הדברים שמאפיינים את המחקר בתחום הזה, הוא שדרך לימוד המחלות והפגמים, אנחנו מבינים הכי טוב איך המנגנונים אמורים לעבוד כשהכל תקין. זה הפך היבטים מסויימים בתואר הראשון למדכדכים מאוד* כי כל הזמן מתעסקים במחלות ופגמים גנטיים** אבל זה נותן פרספקטיבה מעניינת מאוד על מה שאפשר ללמוד מכישלונות.
בין אם מדובר על הפקת לקחים מהכשלונות שלנו, או שימוש בבדיקות משתמשים ואנליטיקה כדי לזהות טעויות שלנו שדורשות תיקון. לא פחות מזה, מחקר טכנולוגי טוב מסתכל לא רק על סיפורי ההצלחה אלא גם על הכשלונות. השבוע הלכתי ללמוד קצת על כשלונות של צ'ט-בוטים ומהן הטעויות שמהן כדאי ללמוד. אני מביאה לכם לקט של לקחים מעניינים.
צ'ט-בוט מבוסס AI
כשמדובר בבינה מלאכותית, האימרה הידועה "garbage in, garbage out" מקבלת משנה תוקף. Machine learning מבוסס על אלגוריתמים אשר צריכים לקבל סטים גדולים של נתונים לצורך "אימון" ואיכות המודל תלויה במידה רבה באיכות המידע בו ייעשה שימוש לצורך האימון הזה. הכישלונות המהדהדים ביותר של AI נובעים משימוש בסט נתונים מוטה, לא איכותי או שאינו מתאים להקשר.
הפרויקט Watson for Oncology שהושק בשנת 2013 בשיתוף פעולה בין IBM ואוניברסיטת MD Anderson מטקסס ארה"ב, תכנן לספק תוכנה של יועץ אונקולוגי שידע להמליץ לחולי סרטן על הטיפול המיטבי עבורם. אחרי השקעה של 62 מיליוני דולרים וכמעט 3 שנים, הפרויקט נסגר.
מהדיווחים בעיתונות עולה כי היועץ הממוחשב לא הצליח להמליץ על טיפולים מתאימים ורלוונטיים לחולים. רופא מפלורידה צוטט כאומר: "זה ח-- של מוצר. הבאנו אותו לצורך שיווק, ובתקווה שימלא את החזון שעליו הוצהר. אנחנו לא יכולים להשתמש בו במרבית המקרים."
מסתבר שבמקום לאמן את ווטסון על מידע של חולים אמיתיים, המהנדסים בפרויקט בחרו לאמן את התוכנה על סט קטן של נתוני חולים היפותטיים. כתוצאה מכך זוהו מקרים רבים שבהם ניתנו המלצות טיפול שגויות ולעיתים אפילו מסוכנות. דובר IBM טען כי ההחלטה הזו התקבלה כיוון שלא נמצאה דרך אחרת להתמודד עם הצורך לעדכן את המודל בכל פעם שהשתנו הנחיות - שינוי שהפך את המידע האמיתי שבו עשו שימוש בהתחלה, לבלתי שמיש בחלקו.
ההחלטה לייצר מידע מלאכותי ולאמן עליו אולי נראתה הגיונית לצורך התמודדות עם בעיית העדכונים, אבל כישלון הפרויקט מראה שהפתרון פגע מאוד באיכות התוצר הסופי. בראייה לאחור, נראה שהיה נכון יותר למצוא שיטה לטיוב ועדכון מאגר של נתונים אמיתיים, באופן שיביא לידי ביטוי את העדכונים הנדרשים, אבל לא יפגע בעושר ושלמות המידע הנדרשים.
חווית המשתמש
הפעם לא נכנסתי לסוגיה המורכבת של חווית השיחה, אבל עניין אותי ללמוד על החוויה של שילוב צ'ט-בוטים בתוך אתרי אינטרנט. בבלוג של מכון Baymard כתבו על מחקר משתמשים שהם ערכו, שבדק את התגובות לשילוב צ'ט חי עם נציג באתרים שונים - באופן דומה משולבים לרוב גם צ'ט בוטים באתרים.
לפי המחקר, הפיצ'ר הזה, שמוצג באופנים שונים באתרים שונים, נתפס לרוב כמציק ומפריע - זה נכון לפופ-אפ, בועיות צפות וכו'. הבעיה כמובן חריפה במיוחד במובייל, שם זה גם בא על חשבון השמישות והקריאות של המידע באתר.
ציטוט נבחר של משתמשת שהשתתפה במחקר:
Oh, god, I hate these, go away. NOO! Go. Away. If I wanted chat I would ask for it.
אז מה כן? הפתרון שביימארד מציעים הוא להפוך את הפיצ'ר לכזה שמופעל ביוזמת המשתמש ולמקם אותו באופן נגיש, בולט וזמין במקומות שבהם אנשים יחפשו אותו: בקישורים בפוטר, באיזור העזרה, בהקשר למידע על משלוחים והזמנות (או מה שלא יהיה הנושא שעליו שואלים הכי הרבה באתר שלכם).
סקר לקינוח
סקר שבדק מהם הדברים שמעצבנים אנשים לגבי צ'ט בוטים.
אם נשים בצד את הטענה של מרבית המשיבים, שמעדיפים צ'ט עם נציג אנושי, יתר התשובות מעניינות ויכולות לתת לנו תובנות לגבי יישום טוב יותר של צ'ט-בוט. חלק גדול מהתשובות נגעו בטיב המענה שמקבלים המשתמשים:
47.5% התלוננו על תגובות בלתי מועילות. זו בעיה שיכולה לנבוע מכך שהבוט לא מזהה טוב מספיק את הצורך של המשתמשים, אבל עשויה לנבוע גם מכך שהתשובות של הבוט מנוסחות בצורה לקונית, תמציתית ואחידה מדי.
39.5% התלוננו על הפנייה לשאלות ותשובות סטנדרטיות. גם כאן, השקעה בזיהוי צרכים ומצבים מעט יותר מורכבים, מאפשרת לתת למשתמשים תשובות יותר מדוייקות ומתאימות. שלא לדבר על כך שהמשתמשים עלולים להרגיש ש"עובדים עליהם" - אם היו רוצים ללכת ל-FAQ, היו עושים את זה ולא מתעסקים עם הצ'ט בוט.
28.2% התלוננו על קבלת הצעות רעות מהבוט. אני לא חושבת שצריך להרחיב על המשמעות של קבלת שירות לא טוב.
וגם פה, 25% התלוננו על פופ-אפים מציקים של צ'ט-בוטים, שהפריעו להם בשימוש באתר.
* למקרה שלא ידעתם, התואר הראשון שלי היה במדעי החיים.
** המרצה בקורס לאמבריולוגיה אפילו פתח את הקורס בהמלצה חמה לכל מי שבהריון, להחליף לקורס אחר.
