כל כמה זמן גוגל סורק אתרים? תדירות סריקה בגוגל

כל כמה זמן גוגל סורק את האתר שלכם?

התשובה המהירה היא שאין תזמון קבוע מראש.

תדירות הסריקה נקבעת על ידי אלגוריתמים מתקדמים ולוקחת בחשבון את סמכות האתר, תדירות עדכון התוכן בו, איכות הקישורים הנכנסים ו"תקציב הזחילה" (Crawl Budget) המוקצה לכם.

מנוע החיפוש אינו עובד בזמן אמת, אלא מציג תוצאות מתוך האינדקס (העותק השמור) שלו.

במאמר הבא, שמבוסס על הניסיון המקצועי שלי כמקדם אתרים מאז 2009, נצלול למנגנון הפעולה של Googlebot ונבין איך לגרום לגוגל לסרוק את התוכן שלכם הרבה יותר מהר.

כל כמה זמן גוגל סורק אתרים? קודם צריך להבין איך המנוע עובד!

אנשים רבים סבורים, בטעות, שמנוע החיפוש של גוגל מאתר עבורם תוצאות חיפוש רלוונטיות עבור שאילתות שהם מבצעים, מאתרי אינטרנט פעילים ברשת בזמן אמת.

אז זהו, שלא.

להלן סרטון שלי מסביר על הנושא בקצרה:

בשביל להבין קידום אורגני כמו שצריך – צריך להבין איך גוגל עובד.

ואם אתם מקדמי אתרים מקצועיים – אז בכלל אתם חייבים לדעת את זה לעומק.

בפועל, מנועי החיפוש השונים (וגוגל בראשם) מכילים רכיבי תוכנה מתקדמים שנקראים זחלנים (Crawlers).

הבוט המוכר ביותר הוא Googlebot.

תפקידם של הבוטים הללו הוא לסרוק את רשת האינטרנט ללא הפסקה, ולקבל החלטות אילו מן העמודים ראויים להיכנס לאינדקס.

בפעולת האינדוקס (Indexing), מייצרים מנועי החיפוש עותק מקומי של עמוד האינטרנט שהחליטו לאנדקס.

כך, בעת ביצוע שאילתה של הגולש, פונה מנוע החיפוש לאתר עמודים רלוונטיים מתוך מסד הנתונים שלו (האינדקס), ומחזיר את התוצאות משם.

המשמעות היא שמנוע החיפוש לא מחזיר לכם את תוצאות האמת מהרשת עצמה באותה שנייה, אלא שולף נתונים השמורים אצלו בעותקים המקומיים.

פעולה זו היא קריטית: היא מאפשרת לכל תהליך החיפוש ושליפת הנתונים להתבצע במילי-שניות, הרבה יותר מהר מכל ניסיון חיפוש ברשת חיה.

למדריך מורחב שלי על אינדוקס בגוגל.

אני מסביר עוד על דרכי הפעולה של גוגל בסרטון הבא:

תדירות ואופן הסריקה בגוגל – אינפוגרפיקה:

האתגר הטכנולוגי – שמירה על עדכניות העותקים באינדקס

תצורת הפעילות של מנועי החיפוש, כפי שהצגתי אותה כאן, מייצרת עבור גוגל אתגר לא פשוט.

בפרק הזמן שחולף בין שמירת העותק המקומי של עמוד מסוים לבין הסריקה הבאה של הזחלן, העמוד עשוי להשתנות דרסטית.

זה קורה לא מעט.

אם העמוד התעדכן, נוספו לו פסקאות או שמחקו ממנו מידע – ייתכן שהוא כבר לא עונה בצורה הטובה ביותר לשאילתת הגולש, או לחילופין, פתאום מתאים לשאילתות חדשות שבגללן הוא צריך להיות מדורג.

לכן, לתדירות הסריקה (Crawl Rate) יש משמעות מכרעת בכל הקשור לאיכות ואמינות תוצאות החיפוש שגוגל מגישה למשתמשים.

הבעיה היא שסריקה רציפה של רשת האינטרנט גוזלת משאבי מחשוב ושרתים עצומים מצידה של גוגל.

כדי לנהל זאת בחכמה, מנועי החיפוש עושים שימוש במונח שנקרא "תקציב זחילה" (Crawl Budget) – והם מתעדפים אילו אתרים לסרוק ומתי.

אתרים גדולים שמתעדכנים על בסיס שעתי יסרקו בתדירות גבוהה הרבה יותר מאתרים קטנים וסטטיים.

אז לפי אילו קריטריונים גוגל מחליטה אילו עמודים לאנדקס ובאיזו תדירות לסרוק אותם?

הנה הסיבות המרכזיות:

1. גודל האתר וכמות הדפים המאונדקסים

תדירות הסריקה תלויה מאוד בנפח של האתר (Website Size).

אתרי תוכן עצומים, אתרי אי קומרס (eCommerce) עם עשרות אלפי מוצרים, או פורטלים מרכזיים, דורשים כוח סריקה אדיר.

ככל שהאתר מכיל יותר עמודים חשובים, כך גוגל מבין שעליו להקצות יותר זחלנים.

עבור ענקיות התוכן והאינטרנט, גוגל יכול לשלוח בוטים לביצוע סריקה בתדירות של עשרות ומאות פעמים ביום בודד.

2. סמכות האתר (Domain Authority / Entity Strength)

סמכות האתר היא כנראה אחד הפקטורים המשמעותיים ביותר.

גוגל אוהב לסרוק אתרים שהוא סומך עליהם.

מותגים מוכרים, רשויות ממשלתיות, אתרי אוניברסיטאות וישויות ברשת (Entities) חזקות ומוכרות, מקבלים יחס מועדף.

ישנם כיום כלים חיצוניים המסייעים להעריך סמכות זו.

חשוב לזכור שאלו כלי צד-שלישי שאינם קשורים ישירות לאלגוריתם של גוגל – אך הם נותנים לנו המקדמים אינדיקציה מעולה לגבי כוחו של הדומיין.

מרבית מומחי הקידום נוהגים להשתמש בכלים כמו Ahrefs ו-Majestic, המציגים מדדים שונים כמו DA ו-DR כדי לכמת את הסמכות.

יש לקחת נתונים אלו בערבון מוגבל, אך הכלל נשמר: אתר סמכותי המקבל סיגנלים חיוביים והפניות מגורמים בכירים ברשת, יזכה לביקורים תכופים יותר של ה-Googlebot.

אני מרחיב עוד על סמכות אתרים בסרטון הבא:

3. פרופיל הקישורים הנכנסים (Backlinks)

ככל שלאתר נכנסים קישורים חיצוניים רבים ואיכותיים יותר, כך הסיכוי להזניק את תדירות הסריקה עולה משמעותית.

הזחלנים של גוגל מדלגים מעמוד לעמוד באמצעות הקישורים ברשת.

קישור הוא הלכה למעשה "גשר" שעליו צועד הבוט.

כאשר אתם משיגים קישור מאתר חדשותי שנסרק בכל שעה, הבוט יעבור מאותו אתר ישירות אליכם בתוך דקות.

4. ארכיטקטורת האתר וקישורים פנימיים

לצד קישורים חיצוניים, לקישורים פנימיים יש כוח אדיר באופטימיזציה לסריקה.

הכוונה לעמודים באותו אתר שמקשרים בין אחד לשני.

מעבר לעובדה שהם עוזרים לבוט לגלות עמודים שקבורים עמוק בתוך האתר, הם גם מאותתים לגוגל על רמת החשיבות של כל עמוד בהיררכיה.

ככל שעמוד ספציפי מקבל יותר קישורים פנימיים בתוך האתר שלכם (למשל מעמוד הבית, או מהפוטר), גוגל מבין שזהו עמוד ליבה ומגדיל את תדירות הסריקה עליו.

בנייה חכמה של סילואים (Silos) משפרת משמעותית את האופן שבו גוגל קורא ומאנדקס את האתר.

איך עושים קישורים פנימיים כמו שצריך? תוכלו ללמוד בסרטון הזה:

5. מפת אתר (XML Sitemap) דינמית

מפת אתר בפורמט XML היא רשימה מרוכזת (מעין קובץ טקסט מתקדם) שמגישה לגוגל את כל כתובות ה-URL שלכם בצורה נקייה ומסודרת על מגש של כסף.

מפת אתר איכותית ודינמית (המתעדכנת אוטומטית ברגע שמתפרסם פוסט חדש באמצעות תוספים מתאימים), מקצרת לבוט את הדרך ומסייעת לגילוי וסריקה מהירים יותר.

חשוב מאד להגיש את מפת האתר דרך ה-Google Search Console כדי לאותת למערכת שקיימת מפה מעודכנת שדורשת התייחסות.

6. ותק הדומיין (Domain Age) והיסטוריה

הוותק של הדומיין (גיל הדומיין) בשטח משפיע גם הוא.

אתר אינטרנט בארגז החול (Sandbox), שרק עתה הוקם וטרם צבר מוניטין, ייסרק בתחילת דרכו בתדירות נמוכה למדי.

ייתכן וגוגל יבקר בו פעם בשבועיים-שלושה.

לעומת זאת, דומיינים ותיקים, בעלי היסטוריה עשירה של יצירת תוכן איכותי וטראפיק אורגני יציב, קנו את אמונו של מנוע החיפוש ויזכו לביקורים תכופים ומהירים הרבה יותר.

7. תדירות העדכונים (Content Freshness)

מנוע החיפוש לומד את הרגלי הפרסום שלכם. קצב העדכון של התוכן קריטי למחזוריות הסריקה.

אם יש לכם בלוג שמתעדכן באופן יומיומי עם מאמרים חדשים, גוגל "יחנך" את הזחלן שלו להגיע אליכם כל יום כדי לא לפספס חומר טרי.

לעומת זאת, אתר תדמית קטן שלא נגעו בו שנתיים, משדר לאלגוריתם מסר ברור שאין סיבה לבזבז עליו משאבי סריקה יקרים, והוא ייבדק לעיתים רחוקות מאד.

טבלת סיכום: תדירות סריקה משוערת לפי סוג האתר

אז מה התשובה הסופית: כל כמה זמן גוגל סורק אתרים?!

כפי שציינתי לאורך המאמר, התשובה אינה חד משמעית ותלויה בפסיפס רחב של משתנים.

אולם ככלל אצבע: אתרי אינטרנט גדולים, דומיננטיים, המתוחזקים כראוי, מתעדכנים באופן שוטף ועטופים בפרופיל קישורים חיצוני חזק – זוכים לסריקה של מספר פעמים ביום (ואף שעה).

לעומתם, אתרים צעירים, נטולי סמכות משמעותית, המכילים תוכן דל וסטטי – יסרקו בממוצע אחת לשבועיים-שלושה.

בתווך שבין קצוות אלו נמצאים רוב אתרי האינטרנט המסחריים שאנו מכירים. המטרה שלכם כמקדמים היא לספק את האותות (Signals) החזקים ביותר כדי למשוך את הבוט לבקר אצלכם שוב ושוב.

בהצלחה 🙂

שאלות נפוצות בנושא סריקת אתרים בגוגל (Q&A)

1. איך אוכל לדעת בוודאות מתי גוגלbot ביקר באתר שלי בפעם האחרונה?

הדרך המדויקת והפשוטה ביותר היא באמצעות כלי מנהלי האתרים (Google Search Console).

היכנסו לדו"ח "סטטיסטיקת סריקה" (Crawl Stats) תחת תפריט ההגדרות, שם תמצאו פירוט מלא של כל בקשות השרת שגוגל ביצע בימים האחרונים.

מקצוענים נוהגים גם לנתח את קבצי לוג השרת (Server Logs) לקבלת תמונה חיה של כניסות הבוטים.

2. מה ההבדל בין סריקה (Crawling) לאינדוקס (Indexing)?

אלו שתי פעולות שונות לחלוטין.

סריקה היא שלב ה"קריאה" – גוגלבוט מגיע לעמוד שלכם וקורא את קוד ה-HTML ואת התוכן שלו.

אינדוקס הוא השלב העוקב – בו אלגוריתם של גוגל מחליט האם התוכן איכותי מספיק כדי לשמור אותו במסד הנתונים ולהציג אותו לגולשים.

עמוד יכול להיסרק אבל לא להיות מאונדקס (למשל במצב של Crawled – currently not indexed).

אני מרחיב על זה עוד בסרטון הבא:

3. האם אני יכול לאלץ את גוגל לסרוק דף מסוים באופן מיידי?

כן.

אם עדכנתם מאמר חשוב, תוכלו להיכנס ל-Search Console, להזין את כתובת ה-URL בשורת החיפוש העליונה (URL Inspection Tool) וללחוץ על "בקש אינדוקס" (Request Indexing).

זה מכניס את העמוד לתור סריקה מהיר. במקרים של אתרים מבוססי חדשות או משרות, ניתן להשתמש ב-Indexing API.

4. מהו תקציב זחילה (Crawl Budget)?

זהו המונח המתאר את כמות הזמן ומשאבי השרת שגוגל מוכנה להשקיע בסריקת האתר שלכם בפרק זמן נתון.

אם יש לכם אתר ענק (מאה אלף עמודים) אבל תקציב זחילה נמוך, הרבה מאוד עמודים יישארו בחוץ.

תקציב זה גדל ככל שהאתר משתפר במהירות, באיכות התוכן ובסמכות שלו.

5. האם קובץ Robots.txt יכול לפגוע בסריקה?

בהחלט. קובץ ה-Robots.txt הוא קובץ הוראות לזחלנים.

אם כתובה שם בטעות הפקודה Disallow: /, אתם פקדתם על גוגל לא לסרוק שום עמוד באתר שלכם.

חשוב מאד לוודא שהקובץ מאפשר גישה לעמודי התוכן החשובים וחוסם רק אזורים טכניים (כמו מערכת הניהול).

6. האם שינוי עיצוב באתר גורם לגוגל לסרוק שוב את העמוד?

גוגל סורק קוד (HTML, DOM).

אם שינוי העיצוב (CSS או תבנית) הוביל לשינוי משמעותי במבנה הקוד של העמוד, בזמני הטעינה, או באופן שבו נפרס התוכן (Rendering), גוגלבוט יסרוק אותו שוב ויעבד מחדש את הנתונים כדי להבין את חווית המשתמש.

7. האם דפי שגיאה (404) מבזבזים תקציב סריקה?

כן. אם יש באתר שלכם כמות גדולה של קישורים שבורים המובילים לעמודי 404, הבוט של גוגל יבזבז את הזמן המוקצב לו על סריקת עמודים ריקים, ולא יספיק לסרוק את התוכן החשוב שבאמת מכניס לכם כסף.

חשוב לבצע הפניות 301 היכן שנדרש.

8. מה ההשפעה של מהירות שרת על תדירות הסריקה?

השפעה קריטית.

גוגל רוצה להיות יעיל ולא לגרום לשרת שלכם לקרוס עקב עומס בקשות.

אם השרת שלכם מגיב לאט לבקשת ה-Googlebot, מנוע החיפוש יוריד באופן אוטומטי את קצב הסריקה כדי להגן על האתר שלכם מקריסה, מה שיפגע בתדירות האינדוקס של תכנים חדשים.

9. האם כדאי לי לייצר מפת אתר נפרדת לתמונות ולוידאו?

אם האתר שלכם מתבסס חזק על ויזואליה (אתר צלמים, חנות בגדים, פורטל סרטונים), יצירת מפות אתר ייעודיות לוידאו ותמונות עוזרת לזחלנים הייעודיים של גוגל (כמו Googlebot Image) לסרוק את קבצי המדיה ביעילות גבוהה יותר ולהציג אותם ב-Google Images ובחיפושי וידאו.

10. האם פקודת Noindex חוסמת את הסריקה של העמוד?

זו טעות נפוצה.

פקודת Noindex (בין אם בתגית מטא ובין אם ב-Header) רק אומרת לגוגל לא להכניס את העמוד לאינדקס.

גוגלבוט עדיין חייב לסרוק (לזחול לתוך) העמוד כדי לקרוא את פקודת ה-Noindex.

אם אתם רוצים לחסום סריקה לחלוטין = עליכם להשתמש בקובץ Robots.txt.

מדריכים נוספים:

• קידום אתרים קטנים לעומת קידום אתרים גדולים
• קידום אתרי חדשות ו-Google News
• מדריך Screaming Frog
• תוכן באיכות נמוכה: למה זה פוגע בקידום האתר?
• המדריך שלי על תגיות Hreflang
• מה זה קובץ llms.txt