ClickCease
תפריט

052-9095200

תפריט

קובץ Robots.txt

קובץ robots.txt הינו קובץ היושב על התיקייה הראשית של האתר (לדוגמא: domain.co.il/robots.txt) ותפקידו להנחות את מנועי החיפוש השונים (וכמובן גוגל בינהם) לגבי אילו אזורים באתר שלנו כן לסרוק ולאנדקס ואיזה לא.

השימוש העיקרי בקובץ רובוטס הוא לחסום תיקיות ואזורים באתר אשר אנו לא רוצים שמנועי החיפוש "יבקרו בהם". בדרך כלל מדובר בתיקיות ניהול של המערכת, סקריפטים שונים ועוד.

יחד עם זאת, במקרים מסוימים, נרצה לחסום למנועי חיפוש גם אזורים באתר אשר נגישים למשתמש.

שימוש נפוץ בקובץ robots.txt הוא חסימה גורפת של אתרים אשר נמצאים בתהליך בנייה. לאחר שהאתר מוכן, חשוב מאד לא לשכוח לשחרר את החסימה ולמעשה מדובר בסיבה די שכיחה לכך שהאתר לא מאונדקס בגוגל בכלל.

האם קובץ robots.txt הוא חובה?

לא. לא בכל אתר חייב להיות את הקובץ הזה, ובעצם אם אין לנו שום דבר שנרצה לחסום לסריקה, אין סיבה להשתמש בו.

כמו כן, ניתן לבדוק את תקינות הקובץ במידה והאתר שלנו מחובר ל Search Console (לשעבר Webmaster Tools) של גוגל.

אהבת? גם ברשימת תפוצה שלי אני מפנק :-) ועל הדרך נותן מתנה >>

הרשמה לרשימת תפוצה

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

יש מצב שגם אלו יעניינו אותך...

המאמרים הפופולאריים ביותר

מאמרים אחרונים

עשו לי לייק בפייסבוק
הרשמה לרשימת תפוצה

400+ כבר הצטרפו – טיפים מקצועיים על SEO ישר לטלגרם שלכם!

דילוג לתוכן