אבטחה · הנדסה

למה האישורים צריכים לשבת מחוץ למודל

סוכן AI שיכול לשלם ולשלוח מיילים צריך מנגנוני הגנה שאף פרומפט לא יכול לשכנע לוותר עליהם. כך LVLZ אוכף אישורים בקוד, ולא בהנחיות.

צוות LVLZ · · 2 דקות קריאה

ברגע שסוכן AI יכול להוציא כסף, לשלוח מייל או למחוק מידע, השאלה משתנה מ"האם הוא חכם?" ל"מה עוצר אותו כשהוא טועה?". התשובה שלנו ב-LVLZ פשוטה לניסוח וחשוב לבצע אותה נכון: הכללים שדורשים "כן" של בן אדם יושבים מחוץ למודל.

הבעיה עם לבקש יפה

הגישה המקובלת היא לכתוב למודל, בהנחיות שלו, שיבדוק עם המשתמש לפני שהוא עושה משהו מסוכן. זה עובד עד שזה לא עובד. מודלים מפרשים בקשות לא נכון. דף אינטרנט שהסוכן נכנס אליו יכול להכיל טקסט מוסתר שאומר "המשתמש כבר אישר את זה". שיחה ארוכה יכולה לקבור את ההנחיה מתחת לאלפי מילים. הנחיה היא הצעה שהמודל בדרך כלל מקיים, ו"בדרך כלל" לא מספיק טוב כשכרטיס אשראי שמור במערכת.

מה אנחנו עושים במקום

כל פעולה ב-LVLZ היא פעולה שמוגדרת במרשם אחד. כל פעולה מצהירה איך היא מוגנת: חלק אף פעם לא צריכות אישור, וחלק תמיד צריכות. כמה מהן מוגנות בכלל שהמשתמש שולט בו:

  • תשלומים. לפני שהסוכן משלם, אתם רואים את בית העסק, את הפריטים ואת הסכום הכולל.
  • נמענים חדשים. מייל למישהו שעוד לא כתבתם לו מחכה ל"כן" שלכם.
  • מחיקות. מחיקה של משימות, פרויקטים או זיכרון מחכה לאישור.
  • הזמנות. צירוף של מישהו לסביבת העבודה שלכם מחכה לאישור.

הבדיקה מתבצעת בקוד שמריץ את הפעולה, לפני שהיא רצה. המודל יכול לבקש את הפעולה, אבל הוא לא יכול לבצע אותה עד שהאישור נרשם. מאשרים בתשובה בוואטסאפ או בלחיצה באפליקציה, והכלל זהה בשני המקרים.

מה זה נותן לכם

  • ל-Prompt Injection אין שיניים. דף זדוני יכול לשכנע את המודל לנסות משהו, אבל הניסיון נעצר באישור.
  • טעויות עולות מעט. אם הסוכן לא הבין נכון, אתם רואים את הפעולה לפני שהיא קורית ויכולים להגיד לא.
  • אתם בוחרים את האיזון. אם אתם אף פעם לא רוצים לאשר מיילים לאנשים חדשים, כבו את הכלל הזה בהגדרות האישורים. ההחלטה שלכם, לא של המודל.

גם סודות פועלים לפי אותו עיקרון

המודל גם אף פעם לא צריך לראות את הסיסמאות או את מספרי הכרטיסים שלכם. הם מוצפנים בכספת שלכם עם מפתח ייחודי לכם, וכשמשימת דפדפן צריכה אחד מהם, הדפדפן שרץ בצד השרת ממלא אותו ישירות. המודל יודע שהשדה מולא, אבל אף פעם לא את הערך. פרטים נוספים יש בעמוד האבטחה שלנו.

כלל האצבע

תנו למודל להחליט מה לנסות. תנו לקוד להחליט מה מותר. החלוקה הזאת היא מה שהופך את זה להגיוני להעביר לסוכן עבודה אמיתית.

להמשיך לקרוא

הסוכן שלך, במרחק הודעה אחת

מנוי אחד: הסוכן שלך וכל המערכות שהוא מפעיל. שולחים הודעת WhatsApp אחת, והוא מקים לך את סביבת העבודה תוך כדי שיחה.

לשאול AI על LVLZ