ניהול תקציב הסריקה בגוגל: מהו "תקציב זחילה"?

תקציב זחילה או תקציב סריקה (Crawl Budget) הוא כנראה אחד המושגים הטכניים החשובים ביותר בקידום אתרים, אך הוא גם אחד מאלו שהכי פחות מבינים אותם נכון.

כמקדם אתרים שמלווה מאות פרויקטים בכל רגע נתון, אני נתקל לא פעם בבלבול בין סריקה לאינדוקס.

במאמר זה נסביר בדיוק מהו תקציב זחילה, נפריך כמה מיתוסים נפוצים, ונלמד כיצד להנחות את גוגל להשקיע את המשאבים שלו בעמודים שבאמת מכניסים לכם כסף.

את היסודות של ניהול משאבים חכם ועבודה יעילה אני מסביר לעומק גם בספר שלי, למה אתה עדיין לא מיליונר.

העניין הוא כזה: מנועי החיפוש השונים לא באמת מבצעים חיפושים בזמן אמת ברשת האינטרנט.

כדי להצליח ולהחזיר תוצאות רלוונטיות לשאילתא שמבצעים גולשים במנוע החיפוש בתוך שברירי שניה, ועוד להצליח ולמיין את התוצאות האלו לפי מידת הרלוונטיות שלהן, עושים מנועי החיפוש שימוש באינדקס – מאגר שבו הם שומרים עותקים של עמודים שונים שהם ראו לנכון לאנדקס.

אז מה זה בעצם תקציב זחילה (Crawl Budget)?

תקציב זחילה הוא היקף כתובות ה-URL שגוגל יכול ורוצה לסרוק באתר בפרק זמן מסוים.

הוא מושפע מצד אחד מיכולת האתר והשרת להתמודד עם הסריקה (Crawl Capacity Limit), ומצד שני מהביקוש של גוגל לסרוק את התוכן (Crawl Demand) – בין היתר בהתאם לעדכניות, ייחודיות, פופולריות וערך התוכן.

כדי להחליט אילו עמודי אינטרנט הם מעוניינים לאנדקס, מנועי החיפוש המובילים משתמשים בזחלנים (Crawlers), כשהמוכר שבהם מכונה גוגלבוט (Googlebot).

הזחלנים סורקים את הרשת אחר עמודים חדשים או כאלו שעודכנו, ואז מחליטים אם התוכן ראוי לאינדוקס (Indexing). אם עמוד לא מאונדקס – הוא פשוט לא קיים בתוצאות החיפוש.

חשוב להכניס דברים לפרופורציה: ברוב האתרים הקטנים והבינוניים אין צורך "לנהל תקציב זחילה".

הנושא הופך משמעותי בעיקר באתרים גדולים מאוד (למשל מעל מיליון URLs שמשתנים בתדירות בינונית), אתרי איקומרס עם אלפי וריאציות ופרמטרים, אתרי תוכן שמתעדכנים בתדירות גבוהה (מעל 10,000 URLs שמשתנים מדי יום) או אתרים שבהם גוגל מגלה URLs רבים אך אינו מגיע לסרוק אותם.

אני מרחיב על כל זה בסרטון הבא:

למה בכלל צריך תקציב זחילה (Crawl Budget)?

פעולת הזחילה היא פעולה עתירת משאבים עבור מנועי החיפוש.

בכל רגע נתון מתווספים לרשת מיליוני עמודים חדשים, וחלק ניכר מהם הוא תוכן ממוחזר, כפול או חסר ערך ממשי לגולש.

האתגר של גוגל הוא להחליט כיצד להקצות נכון את משאבי השרתים העצומים שלה.

כאשר מדובר באתר חדשות למשל, הזחלנים ירצו לבקר בתדירות גבוהה מאוד כדי לאנדקס מבזקים בזמן אמת.

לעומת זאת, בבלוג אישי שמתעדכן פעם בחודש, אין היגיון לבזבז משאבי סריקה יומיומיים.

טבלה קטנה שתעשה לכם סדר בנושא הסריקה:

איך תדעו אם יש לכם בכלל בעיית תקציב זחילה?

לפני שרצים לתקן, צריך לאבחן. הנה כמה סימנים וכלים שיראו לכם אם גוגל מתקשה לסרוק את האתר שלכם:

1. דוח Crawl Stats: בתוך ה-Google Search Console תחת הגדרות (Settings), תוכלו לראות את זמני התגובה של השרת ואם גוגל נתקל בשגיאות 5xx שמונעות ממנו לסרוק.
2. דוח אינדוקס העמודים: אם יש לכם מסה ענקית של עמודים תחת הסטטוס "Discovered – currently not indexed", זהו איתות משמעותי שכדאי לבדוק – ייתכן שגוגל מצא את העמודים אך העדיף שלא להשקיע משאבים (תקציב) כדי לסרוק אותם כרגע.
3. ניתוח קובצי לוג (Log File Analysis): זוהי השיטה המדויקת ביותר. קובצי ה-Access Logs של השרת שלכם חושפים בדיוק היכן Googlebot מבקר, על אילו כתובות הוא "מבזבז" את זמנו, והיכן הוא נתקע.

איך מבצעים אופטימיזציה של תקציב הזחילה?

המטרה שלכם כמנהלי אתרים היא לא "להגדיל את הזחילה" סתם כך.

המטרה היא לגרום לגוגל לבזבז פחות סריקות על URLs חסרי ערך ולהגיע מהר יותר לעמודים החשובים והרווחיים שלכם.

הנה הדרכים המקצועיות ביותר לעשות זאת:

1. ניהול חכם של סטטוסים ושגיאות (404, 301, 5xx)

ישנה נטייה לחשוב שכל שגיאה מבזבזת תקציב סריקה, אך המציאות קצת שונה.

אם העמוד אליו מגיעים הזחלנים מחזיר קוד 200 (תקין), או קוד 301 – זה בסדר גמור.

אם מחקתם עמוד לצמיתות, זה דווקא לגיטימי להחזיר עליו סטטוס 404 או 410 (Gone).

החזרת קוד 404 או 410 מאותתת לגוגל שהעמוד הוסר לצמיתות, ובדרך כלל תוביל להפחתה משמעותית בניסיונות הסריקה החוזרים של ה-URL.

הבעיות האמיתיות שמבזבזות תקציב הן:

• Soft 404: עמודים ריקים או שבורים שמחזירים סטטוס 200 (תקין) מטעים את גוגל וגורמים לו לחזור אליהם שוב ושוב.
• שרשראות הפניה (Redirect Chains): שרשראות הפניה ארוכות מוסיפות זמן ומשאבים לתהליך הסריקה ועלולות לפגוע ביעילותו. לכן, ככל האפשר, מומלץ להפנות את הכתובת הישנה ישירות לכתובת הסופית.

2. הסרת דרישת הזחילה מעמודים שאין בהם צורך (וניהול קנוניקל)

דרך יעילה נוספת לבצע אופטימיזציה עבור תקציב זחילה היא להיפטר מעמודים מיותרים ועמודי זבל.

באתרי איקומרס גדולים, מערכת הסינון יוצרת אלפי עמודים המכילים תוכן זהה או דומה (סינון לפי מידה, צבע וכו').

שימוש בתגית קנוניקל (Canonical) כאן הוא קריטי.

Canonical מסייע לגוגל לאחד URLs דומים או כפולים סביב גרסה מועדפת, ובטווח הזמן עשוי להפחית את תדירות הסריקה של גרסאות כפולות.

אם רוצים למנוע זחילה מראש לעמודי פרמטרים מסוימים, עדיף להשתמש בקובץ Robots.txt.

מהם עמודי זבל ואיך מטפלים בהם? בסרטון הבא אני מרחיב על כך:

3. בניית ארכיטקטורת קישורים יציבה

גוגלבוט מגלה עמודים באמצעות מעבר על קישורים.

עמוד שאין אליו קישורים פנימיים (עמוד יתום או Orphan Page) יהיה קשה יותר לגוגל לגלות ולהבין את חשיבותו, ולכן כדאי לוודא שכל עמוד משמעותי באתר מקבל לפחות קישור פנימי אחד רלוונטי.

בנוסף, קישורים פנימיים מסייעים לגוגל לגלות עמודים ולהבין את חשיבותם בתוך מבנה האתר, בעוד פופולריות של URL ברשת (דרך לינקים מבחוץ) עשויה גם להשפיע על הביקוש של גוגל לסרוק אותו מחדש.

4. שיפור בריאות השרת וזמני תגובה (Latency)

המשוואה כאן ברורה: גוגל מציינת במפורש שזמן תגובת השרת (כמו זמן עד לבייט הראשון – TTFB) ויציבותו הם קריטיים לקיבולת הסריקה (Crawl Capacity).

אם השרת שלכם מגיב מהר, גוגל מבין שהוא יכול לסרוק יותר עמודים מבלי להפיל את האתר או לפגוע בחווית המשתמש.

לעומת זאת, אם השרת מחזיר שגיאות 5xx או 429 (Too Many Requests), גוגל מוריד מיד את קצב הסריקה כדי לא לגרום לעומס על התשתיות שלכם.

5. שליטה בסריקה מול שליטה באינדוקס

אחד הבלבולים הנפוצים ביותר בתחום הוא הניסיון לחסוך בתקציב זחילה באמצעות תגית Noindex.

חשוב לעשות סדר מוחלט בהבדלים:

אם יש לכם עמודים באתר המייצרים תוכן באיכות נמוכה ואינם מיועדים למנועי חיפוש, טיפול נכון בהם הוא קריטי. למידע נוסף על הסרת עמודים מגוגל.

בסרטון הבא אני מסביר עוד על חסימת עמודים בגוגל:

6. ניהול נכון של מפת אתר (Sitemap) ותגית Lastmod

דרך נוספת לנסות ולהשפיע על סדר הסריקה באתר היא קביעת תעדוף במפת האתר.

בעבר, מנהלי אתרים השתמשו במושגים המתייחסים לתדירות המומלצת ורמת החשיבות של עמודים שונים (Priority ו-Changefreq).

המציאות כיום, לפי הצהרותיה הרשמיות של גוגל, היא שמנוע החיפוש מתעלם לחלוטין מפקודות אלו.

גוגל מתעלמת מהערכים Priority ו-Changefreq, אך עשויה להשתמש בתגית Lastmod כאשר היא מדויקת ומשקפת שינוי משמעותי בעמוד.

עצם הכללת URL במפת האתר מסייעת לגוגל לגלות את העמודים שחשוב לכם שייסרקו. מפת אתר נקייה המכילה אך ורק עמודי סטטוס 200 חיונית לסריקה יעילה.

ניהול תקציב סריקה בגוגל – לסיכום

כדי להצליח ולנצל בצורה מקסימלית את תקציב הזחילה המיועד לאתר שלכם, ולאפשר למנועי החיפוש לגלות את התוכן החשוב לכם ביותר בתדירות מספקת, חשוב להקפיד על מספר דברים.

אלו ההמלצות שלי:

• ודאו שהשרת שלכם חזק, יציב ומגיב מהר (למדריך על שיפור מהירות).
• השתמשו נכון ב-404 ו-410 כדי לאותת סופית על עמודים שהוסרו, ונקו שרשראות 301.
• הבדילו בין Robots.txt (לשליטה בסריקה) לבין Noindex (לשליטה באינדוקס).
• חזקו את הקישורים הפנימיים לעמודים שאתם רוצים שגוגל יגלה בקלות.
• השתמשו בתגית Lastmod אמינה במפת האתר שלכם.

שאלות ותשובות: כל מה שצריך לדעת על תקציב זחילה

1. מה זה בדיוק תקציב זחילה (Crawl Budget)?

תקציב זחילה הוא היקף כתובות ה-URL שגוגל יכול ורוצה לסרוק באתר שלכם בפרק זמן מסוים.

הוא מושפע מצד אחד מקיבולת השרת שלכם, ומצד שני מרמת העניין והביקוש של גוגל לסרוק את התוכן שלכם.

2. האם לכל אתר יש בעיית תקציב זחילה שצריך לנהל?

לא. גוגל מציינת במפורש שאתרים קטנים ובינוניים לרוב לא יחוו בעיות בתקציב הסריקה.

הנושא רלוונטי בעיקר לאתרים עם מאות אלפי או מיליוני כתובות URL, ואתרי איקומרס או חדשות דינמיים.

3. איך אדע אם יש לי בעיה בתקציב הזחילה באתר?

אחד הסימנים הגדולים שיכולים לרמז על זה – מספר גדול של עמודים שנמצאים בסטטוס "Discovered – currently not indexed" בתוך הגוגל Search Console.

דרך נוספת היא בחינת שגיאות שרת בדוח ה-Crawl Stats או ניתוח קובצי לוג.

4. האם עמודי 404 פוגעים בתקציב הזחילה שלי?

להיפך.

אם מחקתם עמוד לצמיתות, החזרת קוד 404 או 410 מאותתת לגוגל שהעמוד הוסר לצמיתות, ובדרך כלל תוביל להפחתה משמעותית בניסיונות הסריקה החוזרים של ה-URL.

הבעיה נוצרת ב-"Soft 404" שגורמים לגוגל להסתובב במעגלים.

5. איך תגית Canonical משפיעה על סריקה?

תגית קנוניקל לא מונעת מגוגל לסרוק את העמוד.

מטרתה היא לאחד אותות (Signals) לעמוד ראשי אחד במקרים של תוכן כפול, ובטווח הזמן היא עשויה להפחית את תדירות הסריקה של העמודים הכפולים.

6. האם שיפור ציוני מהירות (Core Web Vitals) מגדיל תקציב סריקה?

לא באופן ישיר.

מה שמשפיע על קיבולת הסריקה הוא בריאות השרת: זמן תגובה (TTFB), יציבות, ומניעת שגיאות 5xx.

שרת בריא מאפשר לגוגל לסרוק מהר יותר מבלי לגרום לעומס.

7. מה ההבדל בין חסימה ב-Robots.txt לבין Noindex?

Robots.txt מונע מגוגלבוט לגשת לעמוד ולסרוק אותו.

Noindex מורה לגוגל לא להציג את העמוד בתוצאות החיפוש, אך גוגל עדיין חייב לסרוק אותו כדי לקרוא את התגית הזו בפועל.

8. האם שרשראות הפניה (Redirect Chains) מבזבזות סריקות?

כן. שרשראות הפניה ארוכות מוסיפות זמן ומשאבים לתהליך הסריקה ועלולות לפגוע ביעילותו.

לכן תמיד מומלץ להפנות את הכתובת הישנה ישירות לכתובת הסופית.

9. האם כדאי לי לשנות את פקודת Priority במפת האתר שלי?

אין צורך.

גוגל מתעלמת מ-Priority ומ-Changefreq, אך עשויה להשתמש ב-Lastmod כאשר הערך אמין ומעודכן.

10. מדוע קישורים פנימיים כה חשובים לסריקה?

קישורים פנימיים מסייעים לגוגל לגלות עמודים יתומים (Orphan Pages) ולהבין את חשיבותם בתוך מבנה האתר, מה שעוזר לו לתעדף את סריקתם בצורה נכונה.

מדריכים נוספים שילמדו אתכם יותר על דרכיו הנסתרות של גוגל:

• מה זה RankBrain וכיצד הוא משפיע על תוצאות החיפוש?
• האלגוריתם של גוגל – איך בעצם זה עובד?
• גרף הידע של גוגל
• עדכון Bert של גוגל – מה הוא ואיך הוא משפיע על התוצאות?
• 12 שיטות מתקדמות לקידום אתרים
• המדריך שלי על קובץ llms.txt
• מדריך שלי על בניית תקציב שיווק