052-9095200

קובץ Robots.txt

קובץ robots.txt הינו קובץ היושב על התיקייה הראשית של האתר (לדוגמא: domain.co.il/robots.txt) ותפקידו להנחות את מנועי החיפוש השונים (וכמובן גוגל בינהם) לגבי אילו אזורים באתר שלנו כן לסרוק ולאנדקס ואיזה לא.

השימוש העיקרי בקובץ רובוטס הוא לחסום תיקיות ואזורים באתר אשר אנו לא רוצים שמנועי החיפוש “יבקרו בהם”. בדרך כלל מדובר בתיקיות ניהול של המערכת, סקריפטים שונים ועוד.

יחד עם זאת, במקרים מסוימים, נרצה לחסום למנועי חיפוש גם אזורים באתר אשר נגישים למשתמש.

שימוש נפוץ בקובץ robots.txt הוא חסימה גורפת של אתרים אשר נמצאים בתהליך בנייה. לאחר שהאתר מוכן, חשוב מאד לא לשכוח לשחרר את החסימה ולמעשה מדובר בסיבה די שכיחה לכך שהאתר לא מאונדקס בגוגל בכלל.

האם קובץ robots.txt הוא חובה?

לא. לא בכל אתר חייב להיות את הקובץ הזה, ובעצם אם אין לנו שום דבר שנרצה לחסום לסריקה, אין סיבה להשתמש בו.

כמו כן, ניתן לבדוק את תקינות הקובץ במידה והאתר שלנו מחובר ל Search Console (לשעבר Webmaster Tools) של גוגל.

שיתוף ב facebook
שיתוף ב twitter
שיתוף ב linkedin
שיתוף ב pinterest
שיתוף ב whatsapp
אהבת? גם ברשימת תפוצה שלי אני מפנק :-) ועל הדרך נותן מתנה >>
הרשמה לרשימת תפוצה

6 תגובות

  1. היי תודה רבה על הכתבה!
    השאלה שלי היא לדוגמא אני רוצה שגוגל לא יאנדקס את כל הארכיונים שיש לי באתר, וראיתי שהוא כבר אינדקס אותם לצערי, אז אני פשוט מכניס למסמך robots.txt את הפקודה – Disallow /tag ? כי זה מה שעשיתי וכרגע כלום לא השתנה, או שזה פשוט לוקח זמן עד שזה עובד.
    בכל מקרה השאלה היא איך אני יודע איזה נתיב להכניס.
    תודה מראש 🙂

    1. עמודי ארכיונים הרבה יותר קל לחסום בעזרת הגדרת noindex לסוגי העמודים – ואת זה אפשר לעשות בעזרת תוסף Yoast או תוספים אחרים של SEO.

  2. אחלה אבדוק את זה,
    יש לך מושג אולי בערך כמה זמן לוקח לגוגל לעדכן את האתר, כלומר לא לאנדקס יותר את הארכיונים?

  3. שלום, אם אני רוצה שגוגל לא יאנדקס את כל הסינונים באתר מכירתי איך אני כותבת את זה בקובץ robots.txt
    מה שקרה, אני מפתחת חנות ווקומרס וחברת האחסון פנתה אלי שגוגל נכנס ללופ ומעמיס באינדוקס בפילטרים של ווקומרס שגורם לעומס על השרת עם מאות אלפי בקשות של כל מיני פילטרים בקטגוריות מוצרים בשילובים שונים בצורה אינסופית למעלה מחודש ללא הפסקה של גוגל בוט, כיצד אני יכולה למנוע מגוגל בוט לאנדקס את הפילטרים משום שגם מתקבל בקונסול מאות אלפי תכנים משוכפלים.

    1. היי, זה לא משהו שאני ממליץ לעשות בלי ידע טכני. הגדרה לא נכונה בקובץ הזה יכולה לעשות נזק משמעותי לקידום האתר. ממליץ לדבר על זה עם מתכנת.

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

יש מצב שגם אלו יעניינו אותך...
המאמרים הפופולאריים ביותר
מאמרים אחרונים
עשו לי לייק בפייסבוק
הרשמה לרשימת תפוצה
Call Now Buttonחייגו עכשיו