שקט תעשייתי

אצלנו במסד, חלק גדול מהעבודה השוטפת רץ על מערכת אוטונומית שבנינו. סוכני AI מקדמים הזמנות עבודה שלב אחרי שלב, עם ביקורת בסוף, וכל מה שיוצא החוצה, כסף, לקוחות, או משהו שעולה לאוויר, עוצר ומחכה לאישור של בן אדם.

על הנייר, "אישור אנושי" נשמע כמו החלק הפשוט בסיפור. המערכת עובדת, בן אדם מאשר, ממשיכים. בפועל, הלקח הכי חשוב שלמדנו עד היום על אוטונומיה הגיע בדיוק מהנקודה הזאת. והוא לא הגיע מטעות שהמערכת עשתה. הוא הגיע משקט.

הזמנת עבודה אחת, הוספת מערכת אנליטיקס לאתר שלנו, עברה את כל השלבים. הבנייה הסתיימה, הביקורת עברה על הכול, ונשאר חסם אחד ויחיד. נוסח ההודעה על פרטיות באתר היה טקסט זמני, ונוסח כזה חייב אישור של בן אדם לפני שהוא עולה לאוויר. הגורם שמבצע את הביקורת סימן לעצמו: עוצרים כאן, זה מחכה להחלטה.

ואז, במשך כעשרים שעות, לא קרה כלום.

לא בגלל תקלה טכנית. בגלל שההנחיה "לעצור ולחכות להחלטה" הייתה כתובה בשפה שבן אדם מבין, אבל לא הייתה לה שום משמעות מבחינת המכונה. שום סטטוס לא השתנה, שום הודעה לא יצאה. השאלה האמיתית, מה הנוסח הסופי, נשארה קבורה בתוך פלט טקסט שאף מנגנון לא קורא. ומבחוץ, מערכת שמחכה בשקט נראית בדיוק כמו מערכת שעדיין חושבת.

בדיעבד זה נראה מובן מאליו. מראש, גם אנחנו תכננו בעיקר את התרחיש ההפוך, מה קורה אם המערכת תעשה משהו בלי רשות. מסתבר שהכשל החמקמק יותר הוא בכיוון השני. מערכת שמחכה לרשות בנימוס, בלי סוף, בלי שאף אחד יודע שהיא מחכה.

מהתקלה הזאת יצאו שלושה עקרונות. כולם רלוונטיים הרבה מעבר ל-AI.

העיקרון הראשון: "מחכה לבן אדם" חייב להיות מצב אמיתי במערכת, לא הערה בהנחיות. אצלנו יש היום מקום אחד שאליו מגיעה כל שאלה שדורשת החלטה אנושית, מכל שלב בתהליך. ברגע שמשהו נכנס אליו, יוצאת הודעה, והשאלה עצמה מנוסחת בפנים. לא "משהו מחכה", אלא "זה הטקסט הזמני, נדרש נוסח סופי".

העיקרון השני: שקט אסור. כל שלב חייב להיגמר באחת משלוש תוצאות מפורשות: עבר, נדחה, או עולה להחלטה. שלב שנגמר בלי אחת מהן הוא עצמו תקלה, ומייצר התראה. ומתחת לכל זה יש רשת ביטחון. עבודה ששוכבת בלי תנועה יותר משמונה שעות מייצרת התראה, גם אם אף מנגנון אחר לא תפס אותה. התקלה ההיא הייתה מתגלה אחרי שמונה שעות במקום עשרים.

העיקרון השלישי, והעמוק מכולם: חייבת להיות למערכת דרך לגיטימית להגיד "חסר לי משהו". מערכת אוטונומית שאין לה דרך מסודרת לעצור, לא עוצרת. היא ממלאת את החסר במשהו שנראה סביר, נגיד טקסט זמני או הנחה שקטה. וזה מסוכן יותר משגיאה רגילה, כי שגיאה רואים, והשלמה סבירה נראית כמו עבודה גמורה. אצלנו, תפקיד שלא יכול לסיים כי חסר לו קלט אמיתי, עוצר ושואל. והמערכת מסרבת להתחיל בנייה כל עוד מוצהר שחסר קלט כזה. זה לא כישלון של האוטונומיה. זה בדיוק איך שהיא אמורה לעבוד.

ועכשיו החלק שנוגע לכל עסק, גם בלי שורת קוד אחת של AI. בכל עסק יש נקודות שבהן תהליך עוצר ומחכה לבן אדם, כמו הצעת מחיר שמחכה לחתימה של מנהל, החזר שמחכה לאישור, או ספק שמחכה לתשובה במייל. על כל נקודה כזאת כדאי לשאול שתי שאלות. איך השאלה מגיעה למי שמחליט, ומי שם לב אם היא לא הגיעה. אם התשובה היא "מישהו כבר יזכור", יש שם נקודה שיכולה לשתוק.

זה נכון גם כשבוחנים כלי אוטומציה חדש. השאלה "מה הכלי יודע לעשות לבד" היא רק חצי מהתמונה. החצי השני הוא מה קורה ברגע שהכלי צריך אתכם. איפה השאלה מופיעה, מי מקבל עליה הודעה, ומה קורה אם אף אחד לא ענה. כלי שאין לו תשובות טובות לשאלות האלה יעבוד יפה בדמו, וייתקע בשקט בשימוש אמיתי.

היום, האישור אצלנו הוא לא כפתור. הוא ערוץ שלם, עם מצב מוגדר, שאלה מנוסחת, הודעה שיוצאת, ורשת ביטחון לשקט. בניית הערוץ הזה לקחה יותר זמן מבניית הכפתור, וזה היחס הנכון. כי החלק הקשה באוטונומיה הוא לא לגרום למכונה לעצור. החלק הקשה הוא לוודא שכשהיא עוצרת, מישהו שומע.