אינדוקס בגוגל (Google Indexing) הוא תהליך הליבה שבו מנוע החיפוש סורק, מנתח ושומר עמודי אינטרנט במאגר הנתונים העצום שלו, כדי להציג אותם לגולשים בתוצאות החיפוש.
בלי אינדוקס, האתר שלכם למעשה שקוף ואינו קיים בעיני גוגל.
במדריך המעשי שלפניכם, אסביר במדויק כיצד המנגנון הזה פועל, ואשתף מהניסיון המקצועי שצברתי מאז 2009 כאיש SEO, כיצד תוכלו לזרז סריקה ואינדוקס של עמודים חדשים באמצעות כלים ייעודיים כמו Search Console, מפות אתר, ושיטות מתקדמות נוספות – כדי להבטיח שהתוכן שלכם ייסרק ויתחיל לייצר טראפיק במהירות.
• אינדוקס תקין הוא התנאי הבסיסי ביותר להופעה בתוצאות החיפוש – בלעדיו שום אופטימיזציה לא תעזור.
• הדרך המהירה, הבטוחה והיעילה ביותר לאנדקס עמוד ספציפי היא הגשת בקשת סריקה ב-Google Search Console.
• עבור אתרים חדשים או בעת העלאת כמות גדולה של תוכן, קריטי להגיש ולעדכן מפת אתר (Sitemap) תקנית.
• יצירת מערך חכם של קישורים – פנימיים בתוך האתר וחיצוניים מאתרים חזקים – מסייעת לזחלנים לגלות תוכן חדש באופן טבעי.
• בעידן החיפושים החדש וה-AI, שמירה על אינדוקס מהיר מבטיחה שהמידע המעודכן והסמכותי שלכם יגיע לקהל לפני המתחרים.
אינדוקס / סריקת אתר בגוגל: קצת הקדמה
גוגל, למי שלא יודע, סורק ומאנקדס (=מוסיף לאינדקס שלו) מיליארדים של עמודי אינטרנט מדי יום.
הסבר על איך סריקת אתר בגוגל עובדת ובכלל, כיצד פועל המנוע חיפוש תמצאו בסרטון הבא:
רקע: מה זה האינדקס של גוגל ואיך הוא עובד?
לפני שאפרט יותר על איך לאנדקס אתר בגוגל – נסביר קצת כיצד האינדקס של גוגל עובד.
מבלי להאריך יותר מדי במילים, אבל זה כן משהו שכדאי להבין.
למעשה, כל התוצאות שגוגל מציג לנו בכל חיפוש שאנו מבצעים נלקחות מהאינדקס של גוגל ולא תוצאות בזמן אמת.
לכאן אנו מקבלים את התוצאות בשבריר שניה.
זאת הסיבה שהרבה פעמים נראה כותרת או תקציר (Snippet) בתוצאות החיפוש שאינן תואמות את מה שמוצג באתר בפועל – כי מאז שבוצעו שינויים באתר, גוגל טרם הספיק לסרוק ולאנדקס אותם.
תדירות הסריקה ו/או אינדוקס בגוגל תלויה במספר פרמטרים, בין היתר – כמות ואיכות הקישורים לדף מסוים, סמכות הדומיין (שגם היא נגזרת של קישורים חיצוניים המצביעים אל האתר), תדירות העדכונים באתר ועוד.
לצורך העניין, אתר ויקיפדיה נסרק כמה וכמה פעמים ביום. אתר כמו "איציק החשמלאי" – הרבה פחות.
על מנת להעריך את פוטנציאל הצמיחה האורגנית
ניתן לחייג למספר 052-9095200 או למלא את הטופס:
תדירות סריקה לאתר ממוצע היא משהו כמו פעם-פעמיים בחודש, מה שאומר שאם אתם מעדכנים את האתר שלכם עם עמוד חדש – יכול לקחת חודש ואפילו יותר, עד שגוגל "מכיר" את העמוד הזה, בהנחה ומדובר כאמור באתר ממוצע ולא יותר מזה.
רגע לפני שנמשיך…
כאנקדוטה, אני יכול לספר מניסיוני ארוך השנים בתחום שקרה לי המון שפנו אליי לגבי שירות מקצועי של קידום אתרים, אבל האתר של הפונים לא היה מאונדקס בגוגל כי הוא פשוט היה חסום.
זאת תופעה נפוצה מאד, כאשר בונים אתרים חוסמים אותם לאינדוקס של גוגל על מנת שגוגל לא יאנדקס אתר שהוא "חצי אפוי", אבל לאחר שהאתר עולה לאוויר, במקרים רבים שוכחים להסיר את החסימה..אופסי.
הוספת אתר לאינדקס גוגל: אז איך מזרזים את העניינים?
חשוב להבין: הוספת אתר לגוגל או הוספת עמוד לגוגל, אלו דברים שקורים באופן טבעי.
לגוגל כמנוע חיפוש, יש אחריות גדולה: עליו לסרוק ולסדר את כל המידע שקיים באינטרנט (לא באמת הכל אבל הרבה ממנו) ולהציג את התוצאות הטובות ביותר עבור הגולשים שלו ובמהירות האפשרית.
בתור כזה הוא סורק ומוצא תכנים חדשים כל הזמן, בהיקפים עצומים.
לכן, אנחנו כבעלי אתרים לא צריכים לבצע פעולות מיוחדות על מנת שגוגל יסרוק את האתר שלנו – אלא אם כן אנחנו רוצים לזרז את העניינים.
בתור מקדם אתרים מקצועי, אני כמעט לא מתעסק באינדוקס עמודים בשוטף – אני נותן לגוגל לעשות את מה שהוא יודע בקצב טבעי.
לרוב, אינדוקסים זה לא חלק ממה שחברת קידום אתרים אמורה לעשות, אלא אם כן מדובר במקרים חריגים בהם תוצאה לא מתווספת לגוגל במשך זמן רב (מעל חודש, למשל).
היו אפילו מקרים חריגים בהם פנו אליי לטובת ייעוץ SEO לגבי אתרים שלא מופיעים בגוגל בכלל, גם לא על השם שלהם.
לפעמים אלו מקרים דביליים כמו אתרים שחסומים לסריקה (כן, זה קורה הרבה בטעות) או אתרים שלא בנויים נכון ולא ידידותיים לזחלנים (Googlebot) של גוגל (מקרים נדירים יותר אך קיימים).
הלאה, נתקדם… הוספת אתר לגוגל: אז איך זה עושים את זה?
1. השיטה הכי מהירה: Google Search Console
במידה ואנחנו רוצים לבצע רישום אתר לגוגל, המצב הכי סבבה זה שאנחנו מעוניינים לאנדקס עמוד שנמצא באתר שלנו, ו/או באתר שיש לנו גישה לקונסולת החיפוש שלו שלו (Google Search Console).
מה שצריך לעשות זה כדלקמן:
א. במסך הראשי של ה-Search Console, הולכים לשורה העליוני ועושים Copy Paste אל ה-URL שאותו אנחנו רוצים לסרוק (זה יכול להיות עמוד הבית או עמוד פנימי כלשהו באתר).
ב. לוחצים ENTER.
ג. מחכים כמה שניות, ואז נקבל את סטטוס העמוד – האם מאונדקס או לא.
כך למשל נראה עמוד שלא מאונדקס בגוגל:
ד. בשלב זה, במידה וקיבלנו תוצאה שעמוד אינו מאונדקס בגוגל – נגיש בקשה לסריקה.
לפעמים יש בעיה טכנית שבגינה גוגל לא יכול לאנדקס את האתר – נוכל לראות את זה בפירוט שיש כמו בדוגמא המצורפת.
ה. לאחר מספר שניות (לפעמים גם דקה ויותר) נקבל הודעת אישור:
מה קורה אחר כך?
אחד מ-2 דברים: או שהעמוד מתאנדקס אחרי כמה שניות / דקות / שעות, או שלא קורה כלום.
ברוב המקרים שנתקלתי בהם – אם מדובר בעמוד חדש שגוגל לא מכיר (להבדיל מעמוד קיים שרוצים לאנדקס אותו מחדש) – האינדוקס יתרחש תוך מספר שניות עד מספר דקות).
כאשר מדובר בעמוד קיים שהינכם רוצים לאנדקס מחדש, ההצלחה של האינדוקס תלויה בכמה גורמים:
- עד כמה תוכן העמוד השתנה מאז הפעם האחרונה שבה הוא נוסף לאינדקס. ניתן לבדוק זאת באמצעות הפקודה cache בגוגל.
- מתי העמוד אונדקס לאחרונה.
2. עדכון מפת אתר
אם לאחרונה שדרגו אתר, העלנו אתר חדש, עשינוי שינוי משמעותי במספר עמודים באתר או אנחנו רוצים לבצע סריקה ואינדוקס מחדש לכל האתר, דרך אפקטיבית ונכונה יותר תהיה לעלות מפת אתר (Sitemap) או לעדכן את גוגל על מפת אתר חדשה.
גם את זה מבצעים באמצעות ה-Search Console:
א. מוצאים את הלינק למפת אתר שלנו. אם אתם באתר וורדפרס ועובדים עם התוסף Yoast, בדרך כלל הנתיב יהיה: domain.co.il/sitemap-index.xml.
במקרים אחרים בדרך כלל הנתיב יהיה: domain.co.il/sitemap.xml
עדיין לא מוצאים?
תשאלו את מי שבנה את האתר / אחראי על הצד הטכני – לא לכל האתרים יש מפת אתר באופן מובנה וזה תלוי במערכת ניהול ובגורמים נוספים.
ב. בתפריט הצדדי נלך לאזור של ה-Sitemap / מפת אתר. (מה זה מפת אתר? עוד פרטים בקישור הזה).
ג. בשלב זה נקבל מסרץ' קונסול של גוגל אישור על קבלת ה-Sitemap.
בנוסף, מצרף סרטון איך מעלים מפת אתר בפועל:
מהנסיון שלי – באתרים חדשים שגוגל לא אינדקס לפני כן, כאשר מדובר על הוספת אתר לגוגל, הגשת מפת אתר יכולה להביא לסריקה מהירה של כל/רוב עמודי האתר בתוך 24 שעות.
מידע נוסף על מפות אתר תמצאו בסרטון הזה:
3. כהשלמה / אלטרנטיבה לכלים של גוגל – לקשר לעמוד מאתרים שנסרקים בתדירות גבוהה מאד.
מה שיכול לזרז סריקת אתר בגוגל – זה קישורים.
לפעמים אנו לא נרצה להגיש ישירות את כתובת האתר לגוגל, אלא נרצה לתת לגוגל למצוא את העמוד בכוחות עצמו, עם קצת "עידוד" מהצד שלנו.
לשם כך, אפשר לתת קישור מאתרים שגוגל מבקר בהם לעיתים קרובות.
בפעם הבאה שגוגלבוט (Googlebog) יבקר בעמודים האלה, הוא יסרוק את הקישור, יגלה דף חדש שהוא עדיין לא מכיר, ובסבירות גבוהה יוסיף אותו לאינדקס.
4. כלים מתקדמים: Indexing API של גוגל וטריקים של מקצוענים
מעבר לשיטות הבסיסיות שהזכרתי, עולם ה-SEO מתקדם כל הזמן.
גוגל מספקת כלי רב-עוצמה שנקרא Indexing API, שמיועד בעיקר לאתרים שבהם התוכן מתעדכן ונעלם במהירות (כמו אתרי חדשות, לוחות דרושים ועוד).
למרות זאת, כיום מקדמי אתרים רבים ברחבי העולם עושים בו שימוש כדי "לדחוף" עדכונים של דפים רגילים לגוגל בזמן אמת, ורואים אחוזי הצלחה נהדרים.
לצידו, מנועי חיפוש נוספים מתקדמים עם טכנולוגיית ה-IndexNow המאפשרת איתותים מיידיים, מה שעוזר לייצר נוכחות חזקה וסמכותית בכל רחבי הרשת.
כדאי לכם לקרוא עוד בנושא של איך להעלות אתר לגוגל.
גם קישורים חיצוניים וגם קישורים פנימיים (מעמודים שונים באתר) יכולים לזרז את תהליך האינדוקס בגוגל!
שאלות ותשובות נפוצות על אינדוקס בגוגל
1. מה ההבדל המדויק בין סריקה (Crawling) לאינדוקס (Indexing)?
סריקה היא הפעולה שבה הרובוטים של גוגל נכנסים לעמוד שלכם ו"קוראים" את הקוד והתוכן שבו.
אינדוקס הוא השלב העוקב, שבו גוגל מחליט שהתוכן שנסרק ראוי ואיכותי מספיק כדי להישמר במסד הנתונים שלו, לקראת הצגתו בתוצאות החיפוש.
2. כמה זמן בפועל לוקח לגוגל לאנדקס עמוד חדש באתר?
זה משתנה מאוד.
באמצעות בקשה ידנית ב-Search Console זה יכול לקחת שניות בודדות עד מספר שעות.
אם נותנים לגוגל לגלות את העמוד לבד, זה יכול לארוך בין מספר ימים למספר שבועות בהתאם לתדירות הסריקה הטבעית של האתר שלכם.
3. למה ה-Search Console מראה לי שהעמוד "נסרק – כרגע לא נוסף לאינדקס"?
הסטטוס "Crawled – currently not indexed" אומר שגוגלבוט ביקר בעמוד, אך החליט שלא להכניס אותו לאינדקס כרגע.
הסיבות לכך יכולות להיות תוכן דק (Thin Content), עמוד כפול שדומה לעמוד אחר, בעיות בתקציב הסריקה של האתר או משהו אחר.
4. האם בניית קישורים באמת מאיצה את קצב האינדוקס?
בהחלט.
קישורים הם "הכבישים" שבאמצעותם הבוטים של גוגל מנווטים ברשת.
קבלת קישור מאתר סמכותי וגדול שנסרק בתדירות גבוהה עשויה להוביל את הרובוט לעמוד שלכם בתוך שעות ספורות ולזרז משמעותית את גילויו.
5. מה עושה תגית ה-Noindex ואיך היא קשורה לתהליך?
תגית Noindex היא הוראת מטא (Meta tag) שמוסיפים לקוד העמוד כדי לאותת לגוגל לא להוסיף את העמוד לאינדקס (או להסיר אותו אם הוא כבר שם).
היא שימושית מאוד לעמודים טכניים, עמודי תנאי שימוש או אזורים פרטיים באתר.
6. מהו תקציב סריקה (Crawl Budget) ולמה הוא חשוב?
תקציב סריקה הוא כמות המשאבים שגוגל מקצה לסריקת האתר שלכם בפרק זמן נתון.
באתרים קטנים אין לזה משמעות רבה, אך באתרי ענק עם אלפי עמודים, חשוב לבצע אופטימיזציה כדי שגוגל לא יבזבז את התקציב על עמודים לא חשובים ויפספס את התוכן האיכותי באמת.
7. איך אוכל לבדוק בקלות אם העמוד שלי מאונדקס?
הדרך המדויקת ביותר היא באמצעות כלי בדיקת ה-URL בסרץ' קונסול.
דרך פשוטה ומהירה נוספת, אך לא תמיד מעודכנת באותה רגע, היא להקליד בשורת החיפוש של גוגל את הפקודה site: ואחריה את כתובת ה-URL המדויקת של העמוד.
8. האם מהירות טעינת האתר משפיעה על האינדוקס שלו?
כן, בצורה עקיפה.
אתר שלוקח לו שניות ארוכות להיטען עלול לגרום לרובוט של גוגל לנטוש מוקדם מדי או לבזבז את תקציב הסריקה מהר יותר, מה שיעכב את גילוי וסריקת עמודים נוספים באתר.
9. האם כדאי לי להשתמש ב-Indexing API גם אם האתר שלי לא מציג חדשות?
למרות שהכלי נועד רשמית לסוגי תוכן קצרי-מועד, קהילת ה-SEO העולמית משתמשת בו גם לאתרי תוכן ואיקומרס רגילים עם תוצאות טובות, במיוחד כדי לעדכן על שינויים קריטיים.
עם זאת, יש להשתמש בו במידה ולא להספים את המערכת כדי לא להסתכן בהגבלות מצד גוגל.
10. אם עמוד אונדקס, האם הוא יישאר שם לנצח?
ממש לא. גוגל מסירה באופן קבוע עמודים מהאינדקס שלה אם היא מגלה שהם כבר לא קיימים (שגיאות 404), אם הם חסרי ערך, או אם האתר הפך ללא זמין לאורך זמן.
לכן חשוב לרענן את התכנים באתר בתדירות קבועה.
בהצלחה!
לא רק אינדוקס אתר בגוגל. קבלו מדריכים נוספים:
