האתר לא מופיע בגוגל? 9 סיבות שהאתר שלך לא מאונדקס בגוגל

למה האתר שלי לא מופיע בגוגל? שאלה נפוצה, אבל קצת פשטנית מדיי.

בוא נדבר רגע על מה זה בכלל אומר "מופיע" – טכנית, האם הוא קיים מבחינת גוגל – או, מדורג במקומות הראשונים? כל אחד והכוונה שלו.

על מקרה בו האתר לא מופיע בגוגל, אני מרחיב בסרטון הבא:

אתר לא בגוגל – מה עושים?

אז למה האתר שלך או עמוד ספציפי באתר שלך לא מופיע בגוגל?

בתכלס, יכולות להיות לכך לא מעט סיבות, אבל קודם כל חשוב להפריד בין אתר "שלא מופיע בגוגל" בגלל שהוא לא במיקומים ריאליים על הביטויים שאתם מחפשים, לבין לא מופיע כי גוגל פשוט לא הוסיף אותו לאינדקס שלו.

על מנת לוודא זאת, מומלץ להשתמש בפקודה site:url address. כלומר, הפקודה + כתובת העמוד (URL) שברצונכם לבדוק. לדוגמא, אם אני רוצה לבדוק שדף הבית שלי מאונדקס בגוגל, אני אבצע את החיפוש הבא בגוגל:

אני ממליץ לבצע את החיפוש ללא התוספות www או http://, דבר זה יבטיח שהבדיקה תתבצע גם במידה והאתר שלכם רץ בלי כתובת www או עם פרוטקול מאובטח https.

אם העמוד שאני בודק מופיע – הוא מאונדקס בגוגל. אם הוא לא מופיע על ביטויים רלוונטיים שאתם מחפשים, הוא פשוט לא מקודם מספיק, אבל זה עניין אחר.

אם העמוד לא מופיע בחיפוש הזה, ב-90% מהמקרים זה אומר שגוגל לא אינדקס אותו, אבל על מנת לבצע "וידוא הריגה" אני ממליץ גם לקחת פיסת טקסט ייחודית מהעמוד הזה ולהריץ חיפוש בגוגל, זאת מהסיבה שגוגל לפעמים מאנדקס כתובת מסוימת בצורה שונה מזאת שאנחנו מחפשים.

אני מסביר עוד על פקודת SITE על מנת להבין למה האתר לא מופיע בגוגל, ובכלל, בסרטון הבא:

האתר לא מופיע בחיפוש בגוגל – אז למה האתר שלך לא מופיע בגוגל?

אז לאחר ההקדמה הזו, להלן כמה סיבות אפשרויות נוספות שעמוד לא מאונדקס בגוגל:

1. האתר חסום ב Robots.txt

קובץ Robots.txt בעצם אומר למנועי חיפוש אילו תיקיות ועמודים באתר לאנדקס ואילו לא. משתמשים בו בעיקר לחסום תיקיות אשר אנו לא מעוניינים שגוגל "יבקר" בהן, למשל תיקיות של מערכת הניהול וכו'. בנוסף, בהקמה של אתרים חדשים – מה שנקרא "סביבת טסט", נהוג לחסום את כל האתר באמצעות הפקודה:

User-agent: *

Disallow: /

לפעמים, שאתר חדש עולה לאוויר – שוכחים "לשחרר" את החסימה הזו ואז לא מבינים למה האתר לא מתאנדקס בגוגל. לכן, זאת הבדיקה הראשונה שהייתי מבצע במידה ואתר לא מתאנדקס.

קובץ הרובוטס, במידה וקיים, צריך להופיע בתיקייה הראשית של הדומיין, לדוגמא:

www.domain.co.il/robots.txt

אם הוא לא מופיע שם, הוא לא קיים (אין חובה להשתמש בקובץ הזה).

2. תג Noindex בעמוד

תוודאו שהקוד של העמוד שלכם לא כולל את התגית META הבאה:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

בדגש על Content="NOINDEX". זאת פקודה שלמעשה אומרת למנועי החיפוש "אל תאנדקסו את העמוד הזה". ניתן לבצע סריקה של כל עמודי האתר למטרה סריקה של התגית הזו באמצעות כלים כמו Screaming Frog או A1 Site Analyzer.

3. אתר לא בגוגל עקב כתובת URL מורכבת או ארוכה מדיי

עוד סיבה בגינה האתר לא מופיע בחיפוש בגוגל מקרה – היא כתובת URL ארוכה מדי.

יש לציין שזהו מקרה נדיר, אבל יכול לקרות.

אם באתר שלכם יש כתובות URL מורכבות במיוחד, או כוללות יותר מדי תווים (נפוץ בכתובת בעברית אך לא רק) – גוגל עשוי שלא לאנדקס אותן. זה יכול להיגרם כתוצאה מהגדרה לא נכונה של כתובות, בין אם זה בגלל מערכת ניהול כושלת ובין עם היררכיה לא נכונה באתר. דוגמא לכתובת מורכבת במיוחד:

www.domain.co.il/folder/folder1/folder2/folder3/folder4/folder5/folder6/folder7/file.html

4. אתר לא בגוגל עקב תגית Canonical שמפנה לכתובת לא נכונה

גם זה מקרה נדיר, אך נתקלתי בו לפחות פעם אחת (והאמת שהוא הביא אותי לכתיבת הפוסט הזה). זה קורה כאשר בעמוד מסוים מוגדרת כתובת קנונית אשר מפנה לעמוד שגיאה או לעמוד לא נכון.

5. בעיות בהגדרה של קובץ .htaccess

זהו קובץ בלתי נראה שנמצא על השרת אחסון של האתר שלכם. הגדרה לא נכונה שלו, יכולה לגרום לבעיות כמו לופים אינסופיים ובעיות נגישות לעמודים, שיגרמו מן הסתם לבעיות אינדוקס.

6. קובץ מפת אתר לא מעודכן

במידה וקובץ מפת האתר של האתר שלכם (Sitemap.xml) לא מסונכן עם מה שקורה עם האתר בפועל, זה יכול לגרום לבעיות אינדוקס של עמודים מסוימים.

7. הגדרה לא נכונה של פרמטרים ב-URL דרך הוובמאסטר טולס

בכלי מנהלי האתרים של גוגל (Google Webmaster Tools) יש אזור שמתייחס לפרמטרים של כתובת אתרים (URL Parameters). הגדרה לא נכונה שם יכולה לגרום לבעיות באינדוקס של עמודי האתר שלכם. מומלץ לגעת בזה רק אם אתם יודעים מה אתם עושים.

8. האתר חדש / גוגל עדיין לא ביקר בו

זאת לא בעייה טכנית אבל במידה וכל שאר האפשרויות הן לא הבעיה, יכול להיות שזה רק עניין של זמן וסבלנות עד שגוגל ימצא את האתר שלך ויוסיף אותו לאינדקס. כתבתי כאן מספר טיפים לאינדוקס מהיר של עמודים בגוגל.

9. האתר בעונש וחסום לגוגל

מדובר במקרה קיצוני, אך יש מקרים בהם גוגל מעניש אתרים בחומרה ופשוט מסיר אותם מהאינדקס לצמיתות. איך בודקים זאת? מומלץ לבדוק אם קיבלת הודעה על עונש ידני בוובמאסטר טולס, וזאת במידה ואף אחד מהאפשרויות הנ"ל לא יכולה להסביר מדוע הדף / האתר שלכם לא מאונדקס בגוגל.

מכירים סיבות נוספות לכך שאתר או עמוד לא מתאנדקסים בגוגל? אשמח לשמוע!