מדריך · RAG ואינדוקס דאטה

אינדוקס אתרים ומערכות ישנות לפני שמקימים בוט

יצהר מרדכי, CTO ב-Zooz-Techעודכן ב-19.11.20266 דקות קריאה
בקצרה

בוט טוב רק כמו המקור שהוא קורא. באתר ישן או במערכת פנימית ותיקה המקור הזה בדרך כלל לא מוכן: טקסט בתוך תמונות ו-PDF סרוקים, תפריטים שנבנים ב-JavaScript, עמודים כפולים, גרסאות ישנות ובלי מטא-דאטה. לכן לפני שמקימים בוט מאנדקסים: מחלצים טקסט ומבנה, משחזרים תאריכים ובעלים, מסירים כפילויות, ממפים הרשאות, בונים אינדקס ב-Azure AI Search ובודקים אותו עם שאלות אמיתיות. את המערכת הישנה לא צריך להחליף קודם.

למה אי אפשר פשוט לחבר בוט לאתר הישן?

בקצרה: כי בוט לא קורא את המערכת כמו שאדם קורא אותה. הוא רואה רק את מה שנכנס לאינדקס, ובמערכת ישנה חלק גדול מהידע לא נכנס, או נכנס משובש.

הרבה ידע ארגוני יושב באתרים ובמערכות שנבנו לפני עשר וחמש עשרה שנה: מערכות תוכן ישנות, אתרי ASP ו-WebForms, Lotus Notes, SharePoint 2010, תיקיות משותפות וארכיוני PDF. לחלק מהן אין API בכלל. עובד ותיק יודע איפה נמצא הנוהל העדכני. בוט לא יודע.

כשמחברים בוט ישירות למקור כזה, הוא מוצא את הגרסה הישנה במקום המעודכנת, מפספס את הטבלה שבתוך הסריקה, ולפעמים מציג מסמך שאסור למשתמש לראות. הבעיה כמעט אף פעם לא במודל. היא באינדקס. את המנגנון עצמו הסברנו במדריך מה זה RAG ואיך מאנדקסים דאטה ארגוני, ובעמוד השירות RAG ואינדוקס דאטה ל-AI יש סקירה קצרה של התהליך. כאן נכנסים לפרטים.

אילו בעיות מוצאים כמעט בכל מערכת ישנה?

בקצרה: אותן בעיות חוזרות כמעט בכל פרויקט, ולכל אחת יש פתרון מוכר.

בעיהמה הבוט מקבלאיך פותרים
תוכן בתוך תמונות ו-PDF סרוקיםקובץ בלי טקסטOCR ו-Azure AI Document Intelligence לטקסט, טבלאות ומבנה, כולל כתב יד
תפריטים ותוכן שנבנים ב-JavaScriptעמוד בלי קישורים ובלי טקסטסורק שמריץ את העמוד בדפדפן, או ייצוא ישיר ממסד הנתונים
כתובות עם Session ופרמטריםאותו עמוד תחת כתובות רבות, או כתובות שפגותנרמול כתובות, הסרת פרמטרים מיותרים ומזהה קבוע לכל מסמך
עמודים כפולים וגרסאות ישנותתשובות סותרות לאותה שאלהזיהוי כפילויות לפי תוכן, ושמירה של הגרסה התקפה בלבד
תוכן מאחורי התחברות או חיפוש פנימיחלקים שלמים שלא נגישיםסריקה עם משתמש שירות, או שליפה ממסד הנתונים ומקובצי ייצוא
עברית ואנגלית מעורבותחיפוש שמפספס מונחים ותחיליותמנתח שפה לעברית, מילים נרדפות וחיפוש היברידי

איך מכינים מערכת ישנה לבוט, שלב אחר שלב?

בקצרה: תשעה שלבים, מהמיפוי ועד בדיקה עם שאלות אמיתיות. את המערכת הישנה לא משכתבים ולא מחליפים.

  1. מיפוי מקורות ושאלות. אילו מערכות ותיקיות נכנסות, מי הבעלים של כל אחת, ואילו שאלות המשתמשים באמת שואלים. השאלות קובעות מה מאנדקסים קודם.
  2. סריקה או ייצוא. כשיש API או גישה למסד הנתונים, מייצאים ישירות. כשאין, סורק עובר על כל עמוד ורשומה, גם מאחורי ניווט ישן או מסך התחברות, ושומר גם קבצים מצורפים.
  3. חילוץ טקסט ומבנה. מ-HTML מסירים תפריטים, באנרים וקוד, ומשאירים כותרות, סעיפים וטבלאות. PDF ומסמכים סרוקים עוברים דרך Document Intelligence, כולל כתב יד.
  4. שחזור מטא-דאטה. לכל מסמך: תאריך, בעלים, סוג מסמך, נושא ותוקף. כשהמערכת לא שמרה אותם, מחלצים אותם מהתוכן, מנתיב הקובץ או מהכותרת.
  5. ניקוי כפילויות וגרסאות ישנות. מזהים מסמכים זהים או כמעט זהים, ומשאירים רק את הגרסה התקפה. נוהל שבוטל לא נכנס לאינדקס, או נכנס עם סימון ברור.
  6. מיפוי הרשאות. מתרגמים את ההרשאות של המערכת הישנה לקבוצות ב-Microsoft Entra ID, ושומרים אותן על כל קטע באינדקס.
  7. חלוקה ואינדוקס. חלוקה לפי מבנה המסמך ולא לפי מספר תווים, ואינדקס ב-Azure AI Search שמשלב חיפוש מילולי וחיפוש וקטורי, עם מנתח שפה לעברית ומילים נרדפות.
  8. עדכון שוטף. סריקה מצטברת שמזהה מה השתנה, מה נוסף ומה נמחק, ומעדכנת רק את זה.
  9. בדיקת איכות. לפני העלייה מריצים עשרות שאלות אמיתיות, בודקים שהתשובה נכונה ושהמקור נכון, ומתקנים את האינדקס לפי מה שנכשל.

איך מוודאים שהבוט עונה רק על מה שמותר למשתמש לראות?

בקצרה: כל קטע באינדקס נושא את ההרשאה של המסמך שממנו נלקח, והחיפוש מסנן לפי המשתמש ששואל, עוד לפני שהמודל רואה משהו.

השיטה נקראת Security Trimming. המשתמש מזדהה, המערכת יודעת לאילו קבוצות הוא שייך, והאחזור מחזיר רק קטעים שמותר לו לראות. כך עובד בכספים ועובד בשטח שואלים את אותו בוט ומקבלים תשובות שונות, כל אחד לפי ההרשאות שלו.

במערכות ישנות ההרשאות לפעמים לא מסודרות: תיקייה פתוחה לכולם עם מסמך רגיש, או קבוצה שאף אחד כבר לא זוכר מי חבר בה. הכנת האינדקס היא הזמן לסדר אותן. בבוט שפונה לציבור הכלל פשוט יותר: מאנדקסים רק תוכן שאושר לפרסום.

איך האינדקס נשאר מעודכן אחרי העלייה?

בקצרה: אינדוקס הוא תהליך שרץ כל הזמן, לא פעולה חד-פעמית.

המערכת הישנה ממשיכה לעבוד, ואנשים ממשיכים לעדכן בה תוכן. סריקה מצטברת משווה תאריכי שינוי או טביעת תוכן (Hash), מעדכנת רק את מה שהשתנה, ומוחקת מהאינדקס את מה שנמחק במקור. את התדירות קובעים לפי קצב השינוי: ארכיון יציב נסרק לעיתים רחוקות, ותוכן שמשתנה כל יום נסרק לעיתים קרובות.

שאלות שהבוט לא הצליח לענות עליהן נאספות ועוברות לצוות התוכן. לפעמים חסר מסמך, ולפעמים המסמך קיים אבל הניסוח שלו רחוק מהשפה שבה אנשים שואלים. כך האינדקס משתפר עם הזמן. אם אתם שוקלים לאמן מודל על החומר במקום לאנדקס אותו, קראו את ההשוואה בין RAG ל-Fine-Tuning.

ומה עם האתר הציבורי? איך מנועי חיפוש ומנועי AI קוראים אותו?

בקצרה: אותן בעיות שמפריעות לבוט מפריעות גם למנועי חיפוש ולמנועי AI. אתר ישן צריך טקסט שמגיע מהשרת, מבנה ברור והוראות ברורות לסורקים.

  • HTML נקי וטקסט מהשרת. תוכן שנטען רק ב-JavaScript עלול לא להיקרא. הטקסט החשוב צריך להיות בעמוד כבר כשהשרת שולח אותו.
  • כתובת קנונית אחת לכל עמוד. בלי Session ובלי פרמטרים, כדי שעמודים כפולים לא יתחרו זה בזה.
  • sitemap.xml. רשימה של כל העמודים הקנוניים, עם תאריך עדכון.
  • robots.txt. החלטה מפורשת אילו סורקים מורשים, כולל סורקי AI כמו GPTBot, ClaudeBot ו-PerplexityBot.
  • Schema.org. נתונים מובנים שמסבירים מה יש בעמוד: ארגון, מאמר, שאלות נפוצות.
  • llms.txt. קובץ שמסכם למנועי AI מה יש באתר ואיפה למצוא אותו.

כך בנינו גם את האתר של Zooz-Tech עצמו.

איך זה נראה בפרויקטים ובמוצרים שלנו?

תדיראן · Document AI: מערכת שקוראת חשבוניות בכתב יד, קבלות מצולמות וטבלאות, בעברית ובאנגלית, ומחזירה נתונים מובנים ל-ERP. אותו סוג חילוץ הופך ארכיון סרוק לטקסט שאפשר לאנדקס.

KESHER · בוט שעונה ממקורות מאושרים: בוט באתר, ב-WhatsApp ובקול, שעונה רק מתוכן מאונדקס ומעביר לנציג עם כל ההקשר כשצריך.

שאלות נפוצות

צריך להחליף את המערכת הישנה לפני שמקימים בוט?

לא. מאנדקסים את התוכן שלה כמו שהוא, דרך ייצוא או סריקה, והמערכת ממשיכה לעבוד בלי שינוי בקוד.

מה עושים עם מערכת שאין לה API?

סורקים אותה כמו שמשתמש גולש בה, עם משתמש שירות, או שולפים את התוכן ישירות ממסד הנתונים או מקובצי ייצוא.

הבוט יקרא גם מסמכים סרוקים וכתב יד?

כן, אחרי שהם עוברים OCR ו-Azure AI Document Intelligence. קובץ סרוק שלא עבר חילוץ נשאר ריק מבחינת הבוט.

איך הבוט לא יחשוף מסמכים מוגבלים?

כל קטע באינדקס שומר את ההרשאה של המקור שלו, והחיפוש מסנן לפי המשתמש ששואל. השיטה נקראת Security Trimming.

כל כמה זמן האינדקס מתעדכן?

לפי קצב השינוי של המקור. סריקה מצטברת מעדכנת רק את מה שהשתנה, ומוחקת מהאינדקס את מה שנמחק במקור.

יצהר מרדכי
יצהר מרדכי

CTO ב-Zooz-Tech. מוביל את הפיתוח והארכיטקטורה של סוכני AI, Generative UI ותשתיות Azure.

יש לכם אתר ישן או מערכת ותיקה שרוצים לחבר לבוט?

קבעו שיחה