שאלה: כל כמה זמן גוגל סורק אתרים באינטרנט? יש לכם מושג?
אנשים רבים סבורים, בטעות, שמנוע החיפוש של גוגל מאתר עבורם תוצאות חיפוש רלוונטיות עבור שאילתות שהם מבצעים, מאתרי אינטרנט פעילים ברשת בזמן אמת.
אז זהו, שלא.
כל כמה זמן גוגל סורק אתרים? קודם צריך להבין איך המנוע עובד!
בשביל להבין קידום אורגני – צריך להבין איך גוגל עובד, ואם אתם מקדמי אתרים – אז בכלל אתם חייבים לדעת את זה!
בפועל, מנועי החיפוש השונים מכילים רכיבי תוכנה שנקראים זחלנים (Crawlers) ותפקידם לסרוק את רשת האינטרנט ולהחליט אילו מן העמודים נכון יהיה מבחינת מנוע החיפוש לאנדקס.
בפעולת האינדוקס (Indexing), מייצרים מנועי החיפוש עותק מקומי של עמוד האינטרנט שהחליטו לאנדקס, ובעת ביצוע שאילתה של הגולש, נפנה מנוע החיפוש לאתר עמודים רלוונטיים באינדקס שלו, ומחזיר את תוצאות החיפוש על סמך האינדקס הזה.
כך שלמעשה, מנוע החיפוש מחזיר לכם לא את תוצאות האמת מרשת האינטרנט עצמה, אלא תוצאות רלוונטיות של אתרים כפי שהם שמורים אצלו בעותקים המקומיים – האינדקס.
פעולה זו מאפשרת לכל תהליך החיפוש ושליפת הנתונים – להתבצע הרבה יותר מהר.
למדריך מורחב שלי על אינדוקס בגוגל.
אני מסביר עוד דרכי הפעולה של גוגל בסרטון הבא:
האתגר – שמירה על עדכניות העותקים השמורים באינדקס
תצורת הפעילות של מנועי החיפוש, כפי שהצגתי אותה כאן מייצרת אתגר לא פשוט: בפרק הזמן שבין שמירת עותק מקומי של עמוד אינטרנט כלשהו, לסריקה הבאה של הזחלן, עמוד האינטרנט עשוי להשתנות – מה שקורה לא מעט.
אם העמוד השתנה מבחינת התכנים הכלולים בו, הוא יכול שלא להתאים לשאילתה שביצע הגולש, או דווקא להתאים לשאילתות אחרות שהוא לא מוצג עבורן.
לכן, לתדירות הסריקה של מנוע החיפוש יש חשיבות גדולה ברמת האמינות והאיכות של תוצאות החיפוש.
על מנת לראות את הפוטנציאל האורגני ותוך כמה זמן נכפיל לך את ההכנסות
ניתן לחייג למספר 052-9095200 או למלא את הטופס:
אממה, מאחר שסריקה של רשת האינטרנט היא פעולה שמצריכה משאבים עצומים, נוהגים מנועי החיפוש לשעות שימוש בהטמעת תקציב זחילה, ולתעדף אותו בהתאם.
מטבע הדברים, אתרים גדולים שמתעדכנים על בסיס שעתי יאונדקסו בתדירות גבוהה הרבה יותר מאתרים חדשים שכמעט ואין בהם תוכן.
אז באילו קריטריונים סביר שמנוע החיפוש עושה שימוש כדי להחליט אילו עמודים הוא מאנדקס ובאיזו תדירות?
להלן דעתי וכמה דברים שאני יודע בנושא.
1. גודל האתר וכמות הדפים
תדירות הסריקה של עמודי אתר אינטרנט תלויה, בין השאר, בגודל האתר וכמות העמודים שהוא מכיל.
ככל שמדובר באתר עם עמודים רבים יותר, כך תדירות הסריקה תעלה.
עבור אתרי אינטרנט ענקיים, המכילים עמודים רבים, גוגל יכול לשלוח את הזחלנים לביצוע סריקה בתדירות של מספר פעמים ביום.
2. סמכות האתר
סמכות האתר משפיעה גם היא על תדירות האינדוקס.
ככל שהאתר סמכותי יותר, כך תדירות הסריקה שלו תגדל.
ישנם לא מעט כלים חיצוניים שיכולים לסייע לנו בהערכת הסמכות של האתר.
חשוב להדגיש שאלו לא כלים מדויקים ואין קשר בינם ובין גוגל – אבל הציונים שהם מספקים יכולה לתת אינדיקציה, לרוב לא רעה – בעניין סמכות האתר.
מרבית מקדמי האתרים נוהגים לעשות שימוש ב ahrefs וב – majestic שמציגים פרמטרים שונים המתייחסים לרמת הדומיין ולרמת עמוד ספיציפי באתר – מדדים כמו DA, DR וכאלה.
כאמור, צריך לקחת את הפרמטרים האלו בערבון מוגבל, אבל סביר מאוד יהיה להניח שאתר סמכותי, המקבל קישורים ממאות או אלפי אתרים חזקים אחרים, הוא אתר שעמודיו נסרקים בתדירות גבוהה יותר.
3. קישורים נכנסים לאתר
ההנחה הרווחת היא שככל שלאתר נכנסים קישורים רבים יותר, הסיכוי שהתדירות שבה יגיעו הזחלנים לאתר תהיה גבוהה, הוא גדול יותר.
מנועי החיפוש עושים שימוש בקישורים כדי לגלות עמודי אינטרנט חדשים, וזאת הסיבה, שפעמים רבות, כאשר רוצים לזרז את האינדוקס של אתר מסויים, לפעמים מספיק לייצר אליו קישור מאתר חיצוני.
4. קישורים פנימיים
קישורים פנימיים בתוך האתר, מלבד העובדה שהם מסייעים למנוע החיפוש לגלות עמודים חדשים באתר, הם גם דרך טובה לאותת למנועי החיפוש מיהם העמודים החשובים יותר באתר שכדאי לאנדקס בתדירות גבוהה יותר.
ההנחה במקרה הזה היא שככל שעמוד באתר מקבל יותר קישורים פנימיים, כך הוא יסרק בתדירות גבוהה יותר.
איך עושים קישורים פנימיים כמו שצריך? תוכלו ללמוד בסרטון הזה:
5. שימוש במפת אתר
מפת אתר היא קובץ טקסטואלי שמסייע למנוע החיפוש להבין את מבנה האתר ואת היררכית העמודים בו. גם שימוש במפת אתר ועדכון שוטף שלה (יש מספיק תוספים שעושים את זה) יכולים לסייע באינדוקס מהיר יותר של עמודים שמנוע החיפוש יגלה באמצעותה.
6. ותק האתר
ותק משפיע גם הוא על תדירות הסריקה של האתר.
אתרים חדשים ובתוליים – סביר שיאונדקסו בתקופה הראשונית בתדירות נמוכה של אחת לשבועיים עד שלושה שבועות, ואילו אל אתרים ותיקים יגיעו הזחלנים באופן תדיר יותר.
7. תדירות השינויים
לקצב שבו מתעדכן התוכן באתר ישנה חשיבות גם בהיבט של תדירות הסריקה.
ככל שאתר אינטרנט יהיה דינמי ויתעדכן בתדירות גבוהה, כך יבין מנוע החיפוש שכדי לשמור על רמת אקטואליות טובה הוא נדרש לסרוק את האתר לעיתים תכופות יותר. אתרים סטטיים, לעומת זאת, שאינם משתנים לאורך תקופות ארוכות, סביר שיסרקו בתדירות נמוכה יותר.
אז מה התשובה: כל כמה זמן גוגל סורק אתרים?!
כפי שציינתי, תדירות סריקת האתר תלויה בלא מעט פרמטרים, אבל באופן כללי, אתרי אינטרנט גדולים ומשמעותיים, שמתעדכנים בצורה שוטפת וזוכים לקישורים חיצוניים רבים, נסרקים לרוב מספר פעמים ביום.
לעומת זאת – אתרים אחרים, חדשים, שאינם מכילים הרבה מאוד תוכן, בעלי פרופיל קישורים דל, ורמת התעדכנות נמוכה, יסרקו בתדירות של אחת לשבועיים שלושה. בין לבין, תמצאו אתרים שזוכים לסריקה בתדירות בטווחי הביניים האלו.
בהצלחה 🙂
מדריכים נוספים:
