דף הבית / מילון מונחים / קובץ Robots.txt

קובץ Robots.txt

קובץ robots.txt הינו קובץ היושב על התיקייה הראשית של האתר (לדוגמא: domain.co.il/robots.txt) ותפקידו להנחות את מנועי החיפוש השונים (וכמובן גוגל בינהם) לגבי אילו אזורים באתר שלנו כן לסרוק ולאנדקס ואיזה לא.

השימוש העיקרי בקובץ רובוטס הוא לחסום תיקיות ואזורים באתר אשר אנו לא רוצים שמנועי החיפוש "יבקרו בהם". בדרך כלל מדובר בתיקיות ניהול של המערכת, סקריפטים שונים ועוד.

יחד עם זאת, במקרים מסוימים, נרצה לחסום למנועי חיפוש גם אזורים באתר אשר נגישים למשתמש.

שימוש נפוץ בקובץ robots.txt הוא חסימה גורפת של אתרים אשר נמצאים בתהליך בנייה. לאחר שהאתר מוכן, חשוב מאד לא לשכוח לשחרר את החסימה ולמעשה מדובר בסיבה די שכיחה לכך שהאתר לא מאונדקס בגוגל בכלל.

האם קובץ robots.txt הוא חובה?

לא. לא בכל אתר חייב להיות את הקובץ הזה, ובעצם אם אין לנו שום דבר שנרצה לחסום לסריקה, אין סיבה להשתמש בו.

כמו כן, ניתן לבדוק את תקינות הקובץ במידה והאתר שלנו מחובר ל Search Console (לשעבר Webmaster Tools) של גוגל.


היו חברתיים!

אהבתם? במידה ותירצו לקבל ממני עדכונים עתידיים ישירות לפיד שלכם אתם מוזמנים לעשות לי לייק בפייסבוק או לעקוב אחריי בגוגל+. נשתמע!

רוצה שאבדוק לך את האתר (בחינם לגמרי!) ואתן לך הערכת מחיר לקידום? כמה פרטים ואחזור אליך

רוצים להגיב?

תגובות

אודות דניאל

עוסק בשיווק באינטרנט (בדגש על SEO) באופן מקצועי משנת 2009. יזם אינטרנט ובלוגר בזמן המועט שנשאר לי. פה ושם מעביר הרצאות וגם מלמד קידום אתרים בשיעורים פרטיים וסדנאות. נשוי + ילדה מהממת וגר בנס ציונה :-)

שווה לקרוא גם את

Google Tag Manager

Google Tag Manager – מנהל התגיות של גוגל

גוגל תג מנג'ר (Google Tag Manager) הוא יישום של גוגל המאפשר לנהל בקלות תגים ומקטעי ...

שיפור יחס המרה

שיפור יחס המרה (CRO)

שיפור יחס המרה (Conversion Rate Optimization) או בקיצור CRO, זה תחום שלמעשה קיים מראשית האינטרנט ...

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

יצירת קשר זריזה