כשאנחנו רוצים לחסום קבוצה מסוימת של עמודים בפני גוגל הדרך הכי פשוטה לעשות זאת היא דרך קובץ ה-Robots.txt.
אבל מה אם אנחנו רוצים לחסום עמוד אחד ספציפי? יש לנו אומנם אפשרות להכניס אותו ל-Robots.txt, אבל כשמתחילים להצטבר לנו הרבה עמודים, זו לא השיטה הכי נוחה או יעילה בעולם.
חלופה אפשרית היא שימוש בתג Noindex.
מה זה תג Noindex?
תג או תגית Noindex זהו תג מטא רגיל שאפשר להכניס לחלק של ה- <head>. בתוך ה-HTML ישירות או בעזרת תוסף כמו Yoast (שם אפשר לסמן את כל העמודים תחת סוג תוכן מסוים כ-noindex) .
גוגל אומנם יסרוק את העמוד אבל הוא לא יוסיף אותו לאינדקס, וזה בדיוק הרעיון.
קצת רקע על איך גוגל עובד וסורק עמודים באינטרנט, למי שפחות מכיר:
מתי נרצה להשתמש ב-NoIndex כדי לחסום עמודים ספציפיים?
בדרך כלל כשחוסמים עמודים בפני גוגל, מדובר על ספריות רגישות כמו אלו שכוללות את פאנל הניהול, אבל לפעמים בהחלט נרצה לחסום עמודים ספציפיים:
- עמודים שאנחנו באמצע ההעלאה שלהם – במערכות ישנות שבהן אי אפשר להפוך עמוד לטיוטה, אבל כן רוצים להתחיל לעבוד עליו כדאי לסמן אותו ב-NoIndex. רק כשהוא יהיה מוכן לגמרי נסיר את ה-NoIndex כדי שגוגל יסרוק אותו.
- עמודים שנרצה לחלוק רק עם גולשים מסוימים: גם את האופציה הזו יש בחלק ממערכות ה-CMS, אבל קל יותר להוסיף אותם ל-Noindex מאשר להתחיל להתעסק עם חשבונות וסיסמאות.
- כשאנחנו מתקנים עמודים עם תוכן דל – הרבה תוכן דל או תוכן מועתק יכול לגרום לגוגל להוריד את הדירוגים של האתר באופן רוחבי. לכן לפעמיים עדיף להוציא אותם מהאינדקס של גוגל באופן זמני עד שמשפרים אותם או מאחדים אותם עם עמודים אחרים.
- עמודים שהם לא חלק מהאתר: באתרים רבים יש עמודי נחיתה שמשמשים קמפיינים ממומנים, אבל מבחינת גוגל הם עשויים להיחשב לעמודים עם תוכן דל ולכן גם אותם נרצה להוציא מהאינדקס.
- עמודים מבוססי תוכן גולשים שאין להם ערך כמו הודעות בפורומים – נשמע קצת כמו מאמץ יתר, אבל העצה הזו מגיעה דווקא מג'ון מולר. כמעט בכל פורום אפשר למצוא הודעות שהן רק שאלות ולא זוכות לתשובות. מבחינת גוגל אלו דפים ללא ערך לגולש כי אין בהם שום מידע שיכול לעזור לו.
- Sitelinks שלא רוצים להעלם – עוד עצה שמגיעה דווקא מג'ון מולר ויכולה למנוע מצב שבו גולש נכנס לדף באיכות נמוכה רק בגלל שגוגל מצרף אותו לתוצאות החיפוש.
מפת אתר ו-Noindex
בעיקרון עמוד עם סימון noindex לא אמור להיות במפת האתר מכיוון שמדובר בשתי הגדרות שמתנגשות אחת עם השנייה. למרבה הצער, לא תמיד כל כך קל להוציא עמודים ספציפיים ממפות אתר שנוצרות אוטומטית, אם כי ב-Yoast זה נעשה אוטומטית.
האם להשתמש ב-Noindex בשביל תוכן כפול?
העצה הכללית היא שלא לעשות את זה, אלא להשתמש בתג קנוניקל רגיל. הסיבה היא שגם העמודים שמוגדרים כעמודי משנה יכולים להעביר סיגנלים מסוימים כמו כוח של קישורים פנימיים לעמוד הראשי ולשפר את הביצועים שלו בגוגל. מעבר לכך יש להם חשיבות לאופן בו גוגל סורק ומפרש את מבנה האתר. למידע נוסף על בניית היררכיה של אתרים.
איך מחזירים עמוד לאינדקס במהירות אחרי מחיקה של התג?
אם הוספתם את העמוד ל-Sitemap רגיל, אפשר לנסות ולהוסיף אותו גם לפיד RSS ולשלוח גם אותו כמפת אתר ב-Search Console, אבל הדרך הכי פשוטה היא להשתמש בבקשת שליחה לאינדקס של גוגל, שגם היא נמצאת שם (בחלק העליון).
עוד שיטה שיכולה לעבוד היא לקשר לעמוד ממקומות מרכזיים באתר או אפילו מהפוטר.
איך למצוא את כל העמודים שיש בהם תג Noindex?
- אפשר להשתמש ב-Screaming Frog, תחת השדה Indexability Status תוכלו לראות את הסיבה לכך שעמוד מסוים לא מתאנדקס, ואז פשוט אפשר למיין על פיו ולראות את כל העמודים עם noindex אחד אחרי השני.
- תחת תפריט "אינדקס" וקישור "כיסוי" ב-Search Console ניתן למצוא את הסטטוס של דפי האתר באינדקס של גוגל. יש ללחוץ על "דפים שאינם כלולים" ואז ללחוץ על השורה "הדף לא נוסף לאינדקס בגלל התג Noindex".
- מן הסתם לא תוכלו לראות דפים שסימנתם בימים האחרונים וגוגל עדיין לא סרק.
- עוד שירות שיכול למצוא דפים עם noindex הוא deepcrawel.com
לסיכום – תגית נו אינדקס
Noindex הוא לא נושא גדול או מורכב במיוחד, אבל כשאנחנו מדברים על SEO טכני בהחלט יש לו חשיבות לא קטנה. לכן חשוב להכיר אותו ולדעת מתי להשתמש באפשרות הזו ומתי לא.
