פלטפורמה ומוצר

איך קו עובד: מנוע אחד מאחורי כל ערוץ

מהרגע שהודעה נכנסת ועד שתשובה מופיעה על המסך, אותם ארבעה-עשר בדיקות רצות בכל פעם — לעולם לא ניחוש שהמודל עשה לבד.

מאת צוות קו פורסם 2 דק׳ קריאה

מודל שפה, לבדו, יודע רק לכתוב טקסט — הוא לא יודע מה היתרה של אף אחד. התשובה של קו לזה היא לא פרומפט גדול יותר, אלא רצף קבוע של בדיקות שרץ בכל תור, בכל ערוץ, בין אם השאלה היא "מה היתרה שלי" ובין אם היא "איך פותחים פנייה".

המסלול מהודעה לתשובה

ארבע-עשרה בדיקות רצות בין בקשה חתומה שנכנסת לבין תשובה שמגיעה למסך — אחת-עשרה מהן יכולות לעצור את התשובה לחלוטין. הזהות והשפה נקראות מטוקן ההזדהות, לעולם לא מתוך מה שהוקלד בהודעה עצמה. הטקסט נסרק לאיתור הוראות שמנסות להסתתר בתוכו לפני שקורה כל דבר אחר. טבלת ניתוב — לא שורת קוד — מחליטה אם הניסוח של התור הזה צריך לנעוץ יכולת ספציפית במקום ליפול חזרה לחיפוש. המודל מקבל אז ארגז כלים שנבנה מחדש לשיחה הזו בלבד — רק מה שהארגון הזה התקין, רק מה שהתושב הזה זכאי לגשת אליו כרגע — והוא בוחר כלי; הוא לעולם לא כותב את התשובה ישירות ממה שהוא כבר "מאמין".

יכולת אחת, שלוש שכבות נפרדות

יכולת כמו "מה היתרה שלי" או "קבעו לי תור" נשמרת בשלוש שכבות, לא באחת. הסמנטיקה שלה — למה היא, מתי להשתמש בה, מתי לא — זהה לכל ארגון. החוזה שלה — צורת הקלט והפלט המוקלדת — זהה גם הוא; כל פרומפט, כלל ומסך נכתבים מול הצורה הזו ושום דבר אחר. רק המימוש שלה — איזה מחבר, איזו מערכת, איך התשובה ממופה בחזרה — שייך לארגון ספציפי. הפיצול הזה הוא הסיבה שהתקנת יכולת חדשה היא שורה במסד נתונים, לעולם לא פריסה חדשה.

המודל לעולם לא כותב את המספר

כל סכום, תאריך, מזהה וסטטוס שתושב קורא מגיע מתבנית תצוגה שמוזנת מהפלט המוקלד של היכולת עצמה — המודל בוחר את התבנית וכותב את המילים סביבה, אבל הוא לעולם לא מקליד את הספרה בעצמו. לפני שכל דבר מגיע למסך, הוא גם צריך לשרוד בדיקת עיגון (האם המקור שאוחזר באמת אומר את זה), סף ביטחון (חיפוש היברידי — התאמה מדויקת וחיפוש סמנטי, ממוזגים ומדורגים מחדש — שעונה "אני לא יודע" במקום לנחש כשכלום לא מגיע לציון מספיק גבוה), וגבול חשיפה אחד משותף שמצנזר לפי מחלקת הרגישות של הנתון בלי קשר לאיזו יכולת הפיקה את השדה.

למה לסירוב תמיד יש שם

זכאות חסרה, זהות לא מאומתת, מספר שהמודל ניסה להמציא, משפט שהקטעים שאוחזרו לא באמת תומכים בו — כל אחד הוא שער בעל שם משלו, לא כישלון גנרי אחד. זה מכוון: סירוב שצוות יכול לספור, לתייג ולתקן שווה יותר מתשובה שנשמעת בטוחה טכנית ולפעמים פשוט טועה. כל קריאה ליכולת, כל שער שנסגר וכל עלות מודל נכתבים לרשומה אחת הניתנת לביקורת, גלויה בסטודיו ולא קבורה בקובץ לוג שרק מהנדס יכול לקרוא.