לרוב הארגונים RAG הוא נקודת ההתחלה הנכונה. הוא שולף את המסמכים העדכניים ברגע השאלה, מציין מקור לכל תשובה ושומר על הרשאות לפי משתמש. Fine-Tuning משנה את ההתנהגות של המודל: סגנון, פורמט ומונחים, אבל לא מוסיף לו ידע עובדתי שאפשר לסמוך עליו ולעדכן בקלות. כשצריך את שניהם, משלבים: RAG לידע, והנחיות מדויקות או כיוונון לצורת התשובה.
ההבדל בשתי דקות
RAG לא משנה את המודל. לפני כל תשובה המערכת מחפשת במאגר המידע של הארגון את הקטעים הרלוונטיים, והמודל עונה רק מתוכם ומציין מאיפה.
Fine-Tuning הוא אימון נוסף של מודל קיים על אוסף דוגמאות של שאלה ותשובה רצויה. הוא משנה את המודל עצמו, ולכן משפיע על הסגנון ועל צורת התשובה, אבל הידע שנכנס אליו קפוא ברגע האימון.
טבלת השוואה
| RAG | Fine-Tuning | |
|---|---|---|
| מה משתנה | המידע שהמודל מקבל לכל שאלה | המודל עצמו |
| עדכון הידע | מעדכנים את האינדקס, בלי לגעת במודל | אימון מחדש |
| מקור לתשובה | כן, לכל תשובה | לא |
| הרשאות לפי משתמש | כן, לפי מסמך ולפי משתמש | לא, מה שנכנס למודל זמין לכולם |
| מה צריך כדי להתחיל | מקורות מידע ואינדוקס איכותי | מאגר דוגמאות מתויגות של שאלות ותשובות |
| מתאים במיוחד ל | נהלים, מסמכים, מוצרים ומידע שמשתנה | פורמט קבוע, סגנון, מונחים מקצועיים ומשימות צרות שחוזרות |
למה Fine-Tuning לא "מלמד" את המודל את הנהלים שלכם
אימון על מסמכים לא הופך אותם למאגר שהמודל שולף ממנו. המודל לומד דפוסים, ועלול לנסח תשובה משכנעת שמערבבת גרסאות או ממציאה פרט. אין מקור לבדוק, ואין דרך להגביל מידע רגיש לעובדים מסוימים. וכשהנוהל מתעדכן, צריך לאמן מחדש.
מתי כן לשלב
- כשהתשובה חייבת לצאת בפורמט קבוע, למשל דוח או סיכום במבנה אחיד.
- כשצריך לסווג פניות לקטגוריות של הארגון בעקביות גבוהה.
- כשמשימה צרה וחוזרת יכולה לרוץ על מודל קטן וזול יותר.
לפני Fine-Tuning כדאי לנסות הנחיות מדויקות ודוגמאות בתוך הפרומפט. במקרים רבים זה מספיק.
דוגמאות מפרויקטים
התעשייה האווירית · AICare: RAG על ספרות טכנית של מטוסים, עם ציטוט פרק ועמוד וסינון לפי הרשאות.
Allot: סייען ידע לצוותי השירות ב-Salesforce, שממליץ לפי הקשר הקריאה ובתוך ההרשאות של המערכת.
קבוצת אשטרום: אתר שלם שהפך לבסיס ידע שאפשר לשאול אותו בשפה טבעית ובקול.
מגבלות ושיקולים
- RAG טוב כמו האינדוקס שלו: מסמכים סרוקים, טבלאות ותמונות דורשים עיבוד לפני שהם נכנסים.
- RAG מוסיף שלב אחזור לכל שאלה, וצריך לתחזק את האינדקס כשהמקורות משתנים.
- Fine-Tuning דורש דאטה מתויג ותחזוקה, ועלות אימון ואירוח של מודל מותאם.
שאלות נפוצות
אפשר לאמן מודל על כל המסמכים שלנו במקום RAG?
טכנית כן, אבל לרוב לא כדאי. הידע לא יתעדכן, לא יהיה מקור לתשובה, ואי אפשר להגביל אותו לפי הרשאות. RAG פותר את שלושתם.
ב-RAG המידע שלנו נשלח ל-OpenAI?
לא. אנחנו בונים על Azure OpenAI ו-Azure AI Search בסביבת Azure של הארגון, ומיקרוסופט לא משתמשת בנתונים האלה לאימון מודלים.
RAG עובד בעברית?
כן, כשהאינדוקס מטפל בתחיליות, במילים נרדפות ובשילוב עברית ואנגלית. פירטנו את זה במדריך מה זה RAG.
כמה זמן לוקח להקים RAG?
זה תלוי בכמות המקורות ובמצב שלהם. מסמכים סרוקים, טבלאות ותמונות דורשים יותר עבודה. בדרך כלל מתחילים ממקור אחד ומרשימת שאלות אמיתיות של משתמשים.
CTO ב-Zooz-tech. מוביל את הפיתוח והארכיטקטורה של סוכני AI, Generative UI ותשתיות Azure.