אילו בוטים של AI מותר לתת לזחול באתר שלכם, ואיזה לחסום?
התשובה הקצרה: יש הבדל מהותי בין בוטים שאוספים תוכן כדי לאמן מודל (כמו GPTBot או ClaudeBot) לבין בוטים שמביאים תשובה בזמן אמת מתוך האתר שלכם (כמו OAI-SearchBot, ChatGPT-User ו-PerplexityBot). ברוב המקרים כדאי לאפשר לבוטי החיפוש והמענה לזחול, כי הם אלו שמביאים אתכם לתשובה של ChatGPT או Perplexity. את בוטי האימון כדאי לשקול לחסום, כי הם לוקחים את התוכן שלכם בלי להחזיר תנועה חזרה לאתר.
בהמשך הכתבה: טבלת בוטים מלאה, מה עסקים אחרים כבר עושים לפי נתוני Cloudflare, ואיך כותבים את זה בפועל בקובץ robots.txt.
עד לפני שנה, קובץ robots.txt היה עניין טכני שרוב בעלי העסקים לא נגעו בו בכלל. היום זה כבר לא נכון. כל אתר B2B מקבל תעבורה יומיומית מעשרות בוטים שונים של חברות AI, וההחלטה איזה מהם לתת לו גישה ואיזה לחסום משפיעה ישירות על השאלה אם העסק שלכם מופיע בתשובה של ChatGPT, Perplexity או Gemini כשלקוח פוטנציאלי שואל עליו. בדיגיטל הייפ אנחנו נתקלים בזה כל שבוע בביקורות AEO ללקוחות: אתר עם robots.txt ריק או ישן מדי מפסיד נראות בלי לדעת בכלל שיש כאן החלטה לקבל.
מה זה בכלל בוט AI, ולמה זה משנה לאתר B2B
כל חברת AI גדולה מפעילה כמה בוטים נפרדים, לא אחד. ההבדל בין הבוטים הוא לא רק שם, הוא מטרה. יש שני סוגים עיקריים:
בוטי אימון (training): סורקים את האתר כדי לאסוף טקסט שמשמש לאימון המודל עצמו, בדומה למה שקורה כשמפתחים גרסה חדשה של ChatGPT או Claude. תרומה כזו לא מביאה תנועה חזרה לאתר, לא עכשיו ולא בעתיד. הדוגמאות המרכזיות: GPTBot של OpenAI, ClaudeBot של Anthropic, ו-Google-Extended שמזין את מודלי Gemini.
בוטי מענה וחיפוש (search / answer): סורקים את האתר בזמן אמת כדי לענות על שאלה ספציפית של משתמש, ולעיתים קרובות מצטטים ומקשרים בחזרה לאתר המקור. אלו הבוטים שעומדים מאחורי ציטוט בתשובה של ChatGPT או Perplexity. הדוגמאות המרכזיות: OAI-SearchBot ו-ChatGPT-User של OpenAI, Claude-SearchBot ו-Claude-User של Anthropic, ו-PerplexityBot.
אותה חברה, שני בוטים שונים לגמרי מבחינת התועלת לעסק. זו הנקודה שרוב האתרים בישראל עדיין לא מכירים.
ההבדל בין בוט אימון לבוט מענה, בנתונים
הפער בין שני סוגי הבוטים לא רק תיאורטי, הוא נמדד. לפי ניתוח של Cloudflare Radar על תנועת בוטים ברשת שלה ממאי 2026, 51.8% מכלל בקשות בוטי ה-AI מיועדות לאיסוף נתוני אימון, לעומת 9.3% בלבד שמשרתות מטרת חיפוש או מענה בזמן אמת. במילים אחרות, רוב הפעילות של בוטי AI באינטרנט היא בדיוק הסוג שלא מחזיר לאתר שום תועלת ישירה.
מה זה אומר בפועל
אם רק כ-9% מבקשות בוטי ה-AI קשורות בכלל למענה בזמן אמת, ברור למה חסימה גורפת של "כל מה שקשור ל-AI" היא טעות: היא חוסמת גם את הבוטים היחידים שיכולים להביא לכם ציטוט. מדיניות מדויקת, בוט אחד בכל פעם, שווה יותר מהחלטה גורפת אחת.
מה עסקים אחרים כבר עושים, לפי נתוני Cloudflare
בוטי AI כבר לא שוליים בתעבורת האינטרנט. לפי נתוני Cloudflare Radar מיוני 2026, בוטים מייצרים כיום 57.5% מכלל תעבורת ה-HTML ברשת, לעומת 42.5% בלבד ממשתמשים אנושיים, הפעם הראשונה שבה בוטים עוברים את הרוב בהיסטוריית האינטרנט. בוטי AI, לבד, מהווים כ-20.3% מכלל תעבורת הבוטים המאומתת, ובוטי חיפוש מבוססי AI מוסיפים עוד כ-6.5%.
ומה עושים עם זה בפועל? תמונת מצב מ-31 באוגוסט 2026, שמנתחת קבצי robots.txt ברשת Cloudflare, מראה דפוס ברור: אתרים חוסמים בעקביות את בוטי האימון, ומשאירים פתוחים את בוטי החיפוש. GPTBot, למשל, מופיע בכלל חסימה (Disallow) אצל 696 דומיינים לעומת רק 299 שמאפשרים אותו במפורש, יחס של כ-2.33 לחסימה על כל אתר שמאפשר. לעומת זאת, OAI-SearchBot, הבוט שמביא תנועה בזמן אמת, נמצא במצב כמעט הפוך: יחס החסימה מולו קרוב ל-0.94, כלומר בקירוב אותו מספר אתרים שמאפשרים ושחוסמים אותו, בלי הנטייה החדה לחסימה שרואים אצל בוט האימון של אותה חברה בדיוק.
מקורות: Cloudflare Radar, תמונת מצב robots.txt מ-31.08.2026, ניתוח TechnologyChecker.io, עודכן 09.2026 · Cloudflare Radar, נתוני תעבורת בוטים, 03.06.2026 ו-05.2026, ניתוח Digital Applied.
מדריך מעשי: איך כותבים את זה ב-robots.txt
קובץ robots.txt יושב בכתובת הבסיס של האתר, לדוגמה example.co.il/robots.txt, וכל בוט אמור לקרוא אותו לפני שהוא סורק את שאר האתר. חסימה של בוט ספציפי נראית כך:
Disallow: /
User-agent: OAI-SearchBot
Allow: /
כל בוט מקבל בלוק נפרד, כי הרשאה או חסימה כללית לכל "בוטי AI" לא קיימת בתקן, ובלי בלוק מפורש לכל שם בוט, ברירת המחדל תלויה בשאר הקובץ. חשוב לבדוק אחרי כל שינוי שהתחביר תקין ושלא נחסמו בטעות בוטי חיפוש רגילים כמו Googlebot, כי חסימה שכזו פוגעת בדירוג הרגיל, לא רק בנראות ב-AI. זו בדיוק הבדיקה שדיגיטל הייפ עושה בכל ביקורת AEO, לפני שממליצים על שינוי בקובץ.
שווה לזכור גם את קנה המידה: לפי Cloudflare, מאז ש-1 ביולי 2025 חסימת בוטי AI הפכה לברירת המחדל עבור לקוחותיה, החברה חסמה כ-416 מיליארד בקשות גירוד מבוססות AI בתוך חמישה חודשים בלבד. זה נותן תחושה כמה תעבורה כזו כבר קיימת ברשת, גם אם היא לא נראית בדוחות אנליטיקס רגילים שסופרים רק ביקורי משתמשים אנושיים.
מה עושים עם Google-Extended
Google-Extended שונה מהשאר כי הוא לא משפיע על הדירוג הרגיל בגוגל בכלל. הוא שולט רק בשאלה אם התוכן שלכם יכול לשמש לאימון Gemini ולתכונות AI כמו AI Overviews. חסימה שלו לא פוגעת בדירוג האורגני, אבל היא כן עלולה להקטין את הסיכוי שהתוכן שלכם יצוטט בתוך AI Overviews, כי חלק מהיכולת הזו נשענת על אותו נתון אימון. עסק שרוצה נראות מקסימלית ב-AI Overviews ומוכן "לשלם" בכך שהתוכן שלו תורם לאימון המודל, ישאיר את Google-Extended פתוח. עסק שמעדיף להגן על התוכן ומוכן לוותר על חלק מהנראות הזו, יחסום אותו. אין תשובה אחת נכונה, זו החלטה אסטרטגית, לא טכנית.
robots.txt מול llms.txt, ולמה צריך את שניהם
robots.txt הוא שער גישה: הוא קובע איזה בוט בכלל מורשה לסרוק את האתר. llms.txt הוא סוג שונה לגמרי של קובץ, המלצות תוכן שמכוונות מודל AI שכבר קרא את האתר לחלקים החשובים ביותר בו, בלי לאכוף גישה או חסימה בפועל. הרחבנו על llms.txt ועל מה הוא בדיוק עושה בכתבה הקודמת שלנו בנושא. השניים לא מתחרים, הם משלימים: robots.txt קובע מי בכלל נכנס, llms.txt מכוון את מי שכבר בפנים לתוכן הנכון.
בעבודת ה-AEO שלנו עם לקוחות B2B, בדיקת robots.txt היא אחד הצעדים הראשונים בביקורת נראות במנועי AI, לצד llms.txt, מבנה הסכמה ואיכות התוכן עצמו. אנחנו רואים כל שבוע אתרים שחוסמים בטעות את כל בוטי ה-AI כי מישהו העתיק תבנית robots.txt כללית מהאינטרנט בלי לבדוק מה היא בעצם עושה, ובכך מוציאים את עצמם מהמשחק לפני שהתחילו. בדיגיטל הייפ אנחנו משתמשים בכלי AI כדי לבדוק באופן שוטף אילו בוטים ניגשים לאתרי הלקוחות שלנו ואיך זה משתנה עם הזמן, כחלק מהעבודה השוטפת על נראות ב-AI.
שאלות נפוצות
מה ההבדל בין GPTBot ל-OAI-SearchBot?
שניהם שייכים ל-OpenAI, אבל למטרות שונות לגמרי. GPTBot אוסף תוכן לאימון מודלים עתידיים ולא מביא תנועה חזרה לאתר. OAI-SearchBot סורק בזמן אמת כדי לענות על שאלה ספציפית של משתמש ב-ChatGPT, ולעיתים קרובות מצטט ומקשר בחזרה לאתר המקור.
האם חסימת בוטי AI פוגעת בדירוג הרגיל בגוגל?
לא, כל עוד לא חוסמים בטעות את Googlebot עצמו. GPTBot, ClaudeBot ו-Google-Extended הם בוטים נפרדים לגמרי מהבוט שסורק לצורך דירוג חיפוש רגיל, וחסימתם משפיעה רק על נראות במנועי AI, לא על הדירוג האורגני בגוגל.
מה ההבדל בין robots.txt ל-llms.txt?
robots.txt הוא קובץ מחייב שקובע איזה בוט מותר לו בכלל לסרוק את האתר. llms.txt הוא קובץ המלצות, שמכוון מודל AI שכבר קרא את האתר לתוכן החשוב ביותר בו, בלי לאכוף גישה. הם משלימים זה את זה, לא מחליפים.
האם כדאי לחסום את Google-Extended?
תלוי באסטרטגיה. חסימתו לא פוגעת בדירוג הרגיל בגוגל, אבל עלולה להקטין את הסיכוי שהתוכן שלכם יצוטט בתוך AI Overviews, כי חלק מהיכולת הזו נשען על אותו נתוני אימון. זו החלטה על איזון בין הגנה על התוכן לבין נראות מקסימלית, לא כלל אחיד לכולם.
איך יודעים אם בוט AI כבר ביקר באתר שלי?
בודקים את קובצי הלוג (access logs) של השרת או את לוח הבקרה של ה-CDN, אם יש אחד, ומחפשים את שם הבוט בשדה ה-User-Agent. רוב ספקי האחסון וכלי ה-CDN הגדולים כיום מציגים גם דוח ייעודי לתעבורת בוטי AI, בנפרד מתעבורת משתמשים אנושיים.
לסיכום
לא כל בוט AI שווה לעסק שלכם. בוטי אימון כמו GPTBot ו-ClaudeBot אוספים תוכן בלי להחזיר תנועה, בעוד בוטי חיפוש ומענה כמו OAI-SearchBot ו-PerplexityBot הם בדיוק מה שמביא אתכם לתשובה שלקוח פוטנציאלי רואה. לפי נתוני Cloudflare, רוב עסקים שכבר מסתכלים על זה בוחרים לחסום את בוטי האימון ולהשאיר פתוחים את בוטי המענה, ולא להתייחס לכל "בוטי ה-AI" כמקשה אחת.
קובץ robots.txt מדויק, בוט אחד בכל פעם, הוא אחד הצעדים הזולים ביותר שאפשר לעשות היום כדי לשפר את הסיכוי להופיע בתשובות AI, בלי לוותר על שליטה בתוכן שלכם. זה בדיוק סוג הצעד הקטן שדיגיטל הייפ ממליצה עליו ללקוחות לפני כל השקעה גדולה יותר בתוכן.
רוצים לבדוק מה קורה בפועל באתר שלכם, אילו בוטים כבר סורקים אותו ואיפה יש פערי נראות מול המתחרים? דברו עם דיגיטל הייפ.
