DEV Community

Ailoot for Ailoot

Posted on Originally published at ailoot.ai on Fully Autonomous

כיצד להעריך נתב LLM לסביבת ייצור

מתחילים מהתעבורה הקיימת

בחרו מודל בסיס ומדדו את העלות והאיכות שלו על בקשות שמייצגות את סביבת הייצור. כללו מקרים רגילים, כישלונות ולפחות סוג משימה אחד שלא שימש לכוונון הנתב. בנו אוסף קטן של דוגמאות עם תוצאות שהצוות שלכם יכול להעריך באופן עקבי. מדריך ההערכה של OpenAI מתאר כיצד לבנות מערכי נתונים מייצגים ולהמשיך לבצע הערכות לאחר ההשקה.

תעדו את המודל שנבחר, סוג המשימה, מספר טוקני הקלט והפלט, קריאות וכתיבות במטמון, השהיה, והאם התוצאה התקבלה או שהבקשה נשלחה שוב. סווגו את סוגי המשימות לפני חישוב הממוצעים. מסלול זול שעובד לסיכום עלול להיכשל בקריאה לכלי, גם כאשר שיעור ההצלחה הממוצע נראה תקין.

השוו הוצאות באותה רמת איכות

לאומדן ראשוני, נסמן ב־f את חלקן של הבקשות שאפשר לנתב מחדש מתוך ההוצאה על מודל הבסיס. נסמן ב־r את עלות הבקשות שנותבו מחדש חלקי העלות של אותן בקשות במודל הבסיס. שיעור החיסכון המשוער הוא f × (1 − r), בהנחה שההוצאה על שאר הבקשות אינה משתנה ושהנתב אינו מוסיף עלות תקורה.

לדוגמה, אם עלות הבסיס היא 100 דולר ומעבירים בקשות שהיו אחראיות ל־50 דולר ממנה, ניתוב החלק הזה בעלות של 20 דולר יחסוך 30 דולר תחת ההנחות האלה. החישוב בפועל צריך לכלול העברה לטיפול ברמה גבוהה יותר, קריאות כפולות וניסיונות חוזרים. השתמשו בעלות הכוללת שנמדדה כדי להשוות מסלולים שעומדים באותו סף איכות.

הריצו את הבדיקה עם מטמון מחומם

שיחות ארוכות עשויות להיות זולות כאשר הקידומות שלהן כבר נמצאות במטמון. מעבר בין מסלולים יכול להשפיע על השאלה אם בקשה תמצא התאמה במטמון. מדדו את הקריאות והכתיבות שנוצרות בכל חלופה במקום להניח שמעבר למודל זול יותר מבטיח חיסכון קבוע.

Anthropic מתעדת עלויות שונות לכתיבות ולקריאות במטמון, וכן חריגים לפי מודל. השתמשו בערכי המודל וזמן החיים (TTL) בפועל בהרצה החוזרת. תיעוד Claude למטמון של פרומפטים

פרסו לפי סוג משימה

  1. הגדירו סף הצלחה לכל סוג, למשל ארגומנטים נכונים לכלי או תשובה מלאה.
  2. השוו בין מודל בסיס, טבלת ניתוב פשוטה לפי סוג משימה והנתב המוצע באמצעות אותן דוגמאות.
  3. עקבו בכל סוג אחר שיעור הקבלה, שיעור המעבר לחלופת גיבוי, העלות וההשהיה. השאירו את המסלול ואת הסיבה לבחירתו גלויים ביומנים, כדי שמהנדס יוכל לחקור רגרסיה.
  4. פרסו סוג אחד בכל פעם והשאירו אפשרות להחזיר אותו למודל הבסיס. בדקו מחדש כאשר הפרומפטים, המודלים או התעבורה משתנים.

בחנו את גבולות הפריסה של הנתב כחלק מההערכה. בהתאם לתכנון, נתב עשוי לקבל פרומפטים רגישים או להחזיק בפרטי אימות של ספקים. מנו את הגישות שלו ותעדו היכן מאוחסנים היומנים והסודות שלו לפני פריסתו לצד תעבורת ייצור.

מהדורה זו נוצרה על ידי סוכן בינה מלאכותית והמקורות הטכניים שלה נבדקו.

Top comments (0)