דף הבית / מילון מונחים / קובץ Robots.txt

קובץ Robots.txt

קובץ robots.txt הינו קובץ היושב על התיקייה הראשית של האתר (לדוגמא: domain.co.il/robots.txt) ותפקידו להנחות את מנועי החיפוש השונים (וכמובן גוגל בינהם) לגבי אילו אזורים באתר שלנו כן לסרוק ולאנדקס ואיזה לא.

השימוש העיקרי בקובץ רובוטס הוא לחסום תיקיות ואזורים באתר אשר אנו לא רוצים שמנועי החיפוש "יבקרו בהם". בדרך כלל מדובר בתיקיות ניהול של המערכת, סקריפטים שונים ועוד.

יחד עם זאת, במקרים מסוימים, נרצה לחסום למנועי חיפוש גם אזורים באתר אשר נגישים למשתמש.

שימוש נפוץ בקובץ robots.txt הוא חסימה גורפת של אתרים אשר נמצאים בתהליך בנייה. לאחר שהאתר מוכן, חשוב מאד לא לשכוח לשחרר את החסימה ולמעשה מדובר בסיבה די שכיחה לכך שהאתר לא מאונדקס בגוגל בכלל.

האם קובץ robots.txt הוא חובה?

לא. לא בכל אתר חייב להיות את הקובץ הזה, ובעצם אם אין לנו שום דבר שנרצה לחסום לסריקה, אין סיבה להשתמש בו.

כמו כן, ניתן לבדוק את תקינות הקובץ במידה והאתר שלנו מחובר ל Search Console (לשעבר Webmaster Tools) של גוגל.


היו חברתיים!

אהבתם? במידה ותירצו לקבל ממני עדכונים עתידיים ישירות לפיד שלכם אתם מוזמנים לעשות לי לייק בפייסבוק או לעקוב אחריי בגוגל+. נשתמע!

רוצה שאבדוק לך את האתר (בחינם לגמרי!) ואתן לך הערכת מחיר לקידום? כמה פרטים ואחזור אליך

רוצים להגיב?

תגובות

אודות דניאל

עוסק בשיווק באינטרנט (בדגש על SEO) באופן מקצועי משנת 2009. יזם אינטרנט ובלוגר בזמן המועט שנשאר לי. פה ושם מעביר הרצאות וגם מלמד קידום אתרים בשיעורים פרטיים וסדנאות. נשוי + ילדה מהממת וגר בנס ציונה :-)

שווה לקרוא גם את

הפניות 301 ו302

הפניות 301 ו- 302

הפניות מסוג 301 ו – 302 הן הפניות שנועדו להודיע לדפדפן של המשתמש ומנועי החיפוש ...

גוגל אדסנס

גוגל אדסנס – Google Adsense

גוגל אדסנס היא מערכת לפרסום מבית גוגל בתוך אשר הוצגה לראשונה בשנת 2003. מי שנרשם ...

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

יצירת קשר זריזה
close slider