מהו תקציב זחילה ואיך זה משפיע על קידום אתרים?

סביר להניח שבשנים האחרונות שמעתם את המושג "תקציב זחילה" או "תקציב סריקה" לפחות פעם או פעמיים.

מנועי החיפוש השונים לא באמת מבצעים חיפושים בזמן אמת ברשת האינטרנט.

כדי להצליח ולהחזיר תוצאות רלוונטיות לשאילתא שמבצעים גולשים במנוע החיפוש בתוך שברירי שניה, ועוד להצליח ולמיין את התוצאות האלו לפי מידת הרלוונטיות שלהן, עושים מנועי החיפוש שימוש באינדקס – מאגר שבו הם שומרים עותקים של עמודים שונים שהם ראו לנכון לאנדקס. ניהול תקציב הסריקה בגוגל זה לא משהו שמעסיק אותנו ביום יום אבל בהחלט מושג שלא יזיק להכיר אותו.

אז מה זה תקציב זחילה (Crawl Budget) ואיך זה עובד?

כדי להחליט אילו עמודי אינטרנט הם מעוניינים לאנדקס, מנועי החיפוש המובילים כוללים רכיבי תוכנה שנקראים זחלנים (Crawlers).

הזחלנים סורקים כל העת את הרשת אחר עמודים חדשים או עמודים שבוצע בהם עדכון תוכן שהוא מספיק משמעותי עבורם, ואז מחליטים האם התוכן הזה ראוי לאינדוקס (Indexing).

אם התוכן הספציפי לא מאונדקס במנוע החיפוש – שאילתות חיפוש שונות שיבצעו הגולשים לא תאחזרנה את תוצאת החיפוש המתייחס לתוכן הזה.

אני מרחיב על כל זה בסרטון הבא:

למה בכלל צריך תקציב זחילה (Crawl Budget)?

פעולת הזחילה הזאת של זחלנים מטעם מנוע החיפוש היא פעולת עתירת משאבים.

בכל רגע נתון נוספים לרשת האינטרנט עמודים רבים ותוכן חדש ומגוון.

חלק מן התוכן הזה הוא תוכן ממוחזר, שלא מוסיף יותר מידי ערך לגולש.

האתגר האמיתי של מנוע החיפוש הוא להחליט לא רק איזה תוכן יאונדקס ואיזה לא, אלא גם מהם המשאבים שיוקצו לצורך סריקת העמודים של אתרי אינטרנט שונים.

ההגיון אומר, שכאשר מדובר באתר חדשות כמו ynet למשל, הזחלנים של מנוע החיפוש ירצו לבקר באתר בתדירות גבוהה מאוד, שכן כל העת נוסף תוכן חדש ורלוונטי באתר הזה, שיוכל להיות מבוקש בעתיד על ידי גולשים במנוע החיפוש.

לעומת זאת, כאשר מדובר בבלוג ישן שכמעט ולא מתעדכן, אין טעם לבזבז את המשאבים היקרים של זחילה באתרי אינטרנט, בשביל הסיכוי שאולי היום ימצאו שם הזחלנים תוכן ראוי.

איך מבצעים אופטימיזציה של תקציב הזחילה?

התפקיד שלכם כמנהלי אתרים הוא, בין היתר, לנסות ולהגדיל את תקציב הזחילה שלכם ככל הניתן, על מנת לשמור את האתר רלוונטי, עדכני, ומותאם לצרכים של הגולשים.

הנה כמה דרכים שבאמצעותן תוכלו לשפר את תקציב הזחילה באתר:

1. הפחתת שגיאות

כדי לנצל בצורה מיטבית את תקציב הזחילה באתר, דאגו שהזחלנים מגיעים לעמודים רלוונטים.

אם העמוד אליו מגיעים הזחלנים מחזיר קוד 200, או קוד 301 – זה בסדר גמור. כל קוד שגיאה אחר (למשל 404) הוא למעשה בזבוז מיותר של משאבים, על חשבון עמודים אחרים שהיו יכולים לקבל את תשומת הלב של הזחלנים.

2. הסרת דרישת הזחילה מעמודים שאין בהם צורך

דרך נוספת לבצע אופטימיזציה עבור תקציב זחילה היא להיפטר מעמודים מיותרים (ובלי קשר לתקציב זחילה, זה גם טוב לקידום האורגני).

לעיתים, בעיקר כדי לאפשר למשתמשים באתר לסנן תכנים על פי ההעדפה האישית שלהם, אבל גם בשל צרכים אחרים כמו קיום גרסאות הדפסה, נוצרים באתר עמודים המכילים תוכן זהה או דומה עד מאוד, עם שינויים קלים ומינוריים. למשל, עמודי מוצר שונים הנבדלים זה מזה בצבע המוצר, בגודל שלו או בכל תכונה אחרת.

כל מי שמנהל אתר אינטרנט מבין שמדובר בתוכן שאין טעם לאנדקס אותו מספר פעמים. זאת אחת הסיבות, שמומלץ לטפל בנושא הזחילה בעמודי פרמטרים כאלו, למשל באמצעות התגית קנוניקל – שמאותת למנוע החיפוש מיהו בעצם העמוד המקורי והרלוונטי לאנדוקס.

בגדול – פעולות אופטימיזציה עבור תקציב זחילה לגמרי מתיישרות עם מטרות ה-SEO – על ידי שיפור מתמיד של האתר וצמצום עמודי זבל כמה שיותר.

מהם עמודי זבל? בסרטון הבא אני מרחיב על כך:

3. חיזוק פרופיל הקישורים הפנימיים והחיצוניים

אחת השיטות שבהן עושים שימוש הזחלנים של מנועי החיפוש על מנת לגלות עמודים חדשים באתר, היא שימוש בקישורים חיצוניים ופנימיים.

למעשה, ככל שעמוד מסויים באתר יקבל יותר קישורים פנימיים וחיצוניים, כך גדל הסיכוי שמנוע החיפוש יאתר אותו ויחליט האם הוא מעוניין לאנדקס אותו.

זאת הסיבה, שפעמים רבות, כאשר אנחנו רוצים שגוגל יגלה עמוד חדש שיצרנו באתר, לצד שליחת הבקשה לאנדוקס באמצעות הקונסול, אנחנו בוחרים לקשר אליו, פנימית וחיצונית.

4. שיפור מהירות האתר

כיצד קשורה מהירות הטעינה של עמודי האתר אל תקציב זחילה?

1. ראשית, עבור תקציב זחילה נתון, גוגל ומנועי חיפוש אחרים יוכלו לסרוק יותר עמודים אם אלו יגיבו מהר יותר ויטענו בקצב גבוה.
2. שנית, לפחות על פי ההצהרות של גוגל, קצב הזחילה ומשך הזחילה נקבעים בין היתר במידה כזו שלא תייצר עומד על האתר ותפגע בחווית המשתמש. אתר מהיר יותר פירושו, בהקשר הזה, פחות פגיעה בחווית המשתמש, ויותר תקציב לזחילה.

5. הסרת תוכן באיכות נמוכה מן האינדקס

אם יש לכם עמודים באתר שמייצרים אמנם ערך מוסף לגולשים שכבר נמצאים באתר, אך לא עומדים בפני עצמם מבחינת כמות ואיכות התוכן, סביר שיהיה נכון יותר שלא לבקש ממנועי החיפוש לאנדקס אותם.

ככל שפחות משאבים של הזחלנים מטעם מנועי החיפוש יושקעו בעמודים באיכות נמוכה, כך יותר מהם יושקעו בעמודים החשובים באמת. למידע נוסף על הסרת עמודים מגוגל.

בסרטון הבא אני מסביר עוד על חסימת עמודים בגוגל:

6. תעדוף עמודים במפת האתר

דרך נוספת לנסות ולהשפיע על תקציב הזחילה באתר היא באמצעות קביעת תעדוף במפת האתר.

לרשות מנהלי האתרים עומדים 7 מושגים המתייחסים לתדירות המומלצת מבחינתם לסרוק את עמודי האתר: “never” “yearly” “monthly” “weekly” “daily” “hourly” “always”.

מנועי החיפוש לא מחויבים, כמובן להתייחס להמלצות שלכם ולבצע אותן, אולם כאשר הן נראות סבירות והגיוניות, הן תוכלנה לסייע לכם לפחות להסביר כיצד אתם הייתם מחלקים בצורה נכונה את משאבי הסריקה של האתר.

ניהול תקציב סריקה בגוגל – לסיכום

כדי להצליח ולנצל בצורה מקסימלית את תקציב הזחילה המיועד לאתר שלכם, ולאפשר למנועי החיפוש לגלות עמודים חדשים באתר בתדירות מספקת, כדאי יהיה:

• להשקיע בתשתיות הטכניות של האתר ולדאוג שיהיה מהיר (למדריך על שיפור מהירות)
• לייצר תוכן איכותי שראוי לסריקה ואינדוקס
• להפחית שגיאות המוחזרות מעמודי האתר השונים
• לחזק את פרופיל הקישורים הפנימיים והחיצוניים של האתר
• להסיר את הדרישה לאנדוקס עבור עמודים שאינם רלוונטיים.

מדריכים נוספים שילמדו אתכם יותר על דרכיו הנסתרות של גוגל:

• מה זה RankBrain וכיצד הוא משפיע על תוצאות החיפוש?
• האלגוריתם של גוגל – איך בעצם זה עובד?
• גרף הידע של גוגל
• עדכון Bert של גוגל – מה הוא ואיך הוא משפיע על התוצאות?
• 12 שיטות מתקדמות לקידום אתרים