RAG הוא הדרך לתת למודל AI לענות מתוך הדאטה של הארגון, עם מקור. ההצלחה שלו תלויה כמעט כולה באינדוקס: איך קוראים מסמכים סרוקים ותמונות, איך מחלקים אותם, איך שומרים הרשאות, ואיך האינדקס מתעדכן. מודל טוב לא יציל אינדקס גרוע.
RAG בשתי דקות
RAG (Retrieval-Augmented Generation) בנוי משני שלבים. קודם אחזור: המערכת מחפשת במאגר את הקטעים הרלוונטיים לשאלה. אחר כך ניסוח: המודל כותב תשובה רק מתוך הקטעים שנמצאו, ומציין מאיפה הם.
כדי שהאחזור יעבוד, כל קטע מידע נשמר גם כווקטור, ייצוג מספרי של המשמעות שלו. זה מה שמאפשר למצוא את "מתי מפנים גזם?" גם כשבמסמך כתוב "ימי פינוי פסולת גינה". המאגר ששומר את הווקטורים נקרא מאגר מידע וקטורי (Vector Database).
ארבע טעויות שהופכות בוט טוב לבוט שמנחש
1. מסמכים סרוקים שאף אחד לא קרא
PDF סרוק נכנס לאינדקס כתמונה ריקה. בלי OCR ו-Document Intelligence, חצי מהידע פשוט לא קיים מבחינת הבוט.
2. חלוקה לפי מספר תווים
טבלת מחירים שנחתכה באמצע, או סעיף שהכותרת שלו נשארה בקטע הקודם. אנחנו מחלקים לפי מבנה המסמך.
3. אינדקס בלי הרשאות
אם כל קטע לא נושא את ההרשאה של המקור שלו, הבוט עלול להציג לעובד מסמך שאסור לו לראות.
4. אינדקס שלא מתעדכן
האתר השתנה, המסמך עודכן, והבוט עדיין עונה לפי הגרסה הישנה. אינדוקס צריך להיות תהליך, לא פעולה חד-פעמית.
תמונות, כתב יד וטבלאות
ארגונים מחזיקים הרבה ידע במקומות שקשה לחפש בהם: צילומי לוחיות, חשבוניות בכתב יד, תרשימים ותמונות באתר. אנחנו מעבירים אותם דרך OCR, זיהוי כתב יד וניתוח מבנה, ומוסיפים תיאור לתמונות, כך שגם מה שכתוב בתוך תמונה נכנס לאינדקס. ראו למשל את פרויקט ה-Document AI של תדיראן.
מה מיוחד בעברית
- תחיליות: "ובארנונה" צריך למצוא את "ארנונה". אנחנו מטפלים בתחיליות כמו ו-, ה- ו-ב-.
- מילים נרדפות ושפה מדוברת: "גזם", "פסולת גינה" ו"ענפים" הם אותו דבר מבחינת התושב.
- שילוב עברית ואנגלית באותו משפט, במיוחד במונחים טכניים.
איך בוחרים מאגר וקטורי
בפרויקטים שלנו Azure AI Search משמש מאגר וקטורי והיברידי בו זמנית: חיפוש לפי משמעות, חיפוש מילולי ומילים נרדפות, יחד עם Security Trimming והרשאות. הוא יושב ב-Azure של הארגון, ומשרת כמה בוטים וסוכנים מאותו אינדקס, גם ב-Copilot Studio וגם ב-Azure AI Foundry.
צ'קליסט לפני שמתחילים
- אילו מקורות נכנסים, ומי הבעלים של כל אחד.
- אילו מהם סרוקים, תמונות או כתב יד.
- מי רשאי לראות מה.
- באיזו תדירות המקורות משתנים.
- אילו 50 שאלות המשתמשים שואלים הכי הרבה. הן הבסיס לבדיקת האיכות.
מייסד ומנכ"ל Zooz-tech, ארכיטקט פתרונות, Microsoft 365 Architect Expert.