User-Agent: מה זה אומר ומה חשוב לדעת?

בואו נדמיין סיטואציה. אתם נכנסים למסעדת יוקרה.

המארחת בכניסה לא סתם מושיבה אתכם בשולחן פנוי. היא קולטת אתכם, מבינה שאתם זוג שמחפש אווירה רומנטית, ומציעה לכם שולחן שקט בפינה, עם תאורה עמומה ונר על השולחן.

לעומת זאת, אם הייתם מגיעים עם חמישה ילדים קטנים, היא כנראה הייתה מובילה אתכם לשולחן גדול יותר, באזור פחות צפוף, ואולי אפילו מביאה להם דפי צביעה (והרבה סבלנות).

מה זה User-Agent ולמה זה צריך לעניין אותי?

ה-User-Agent הוא המארחת הדיגיטלית של עולם האינטרנט.

User-Agent הוא בסך הכל מחרוזת טקסט (פיסת קוד, אם תרצו) שהדפדפן או הרובוט שלכם שולח לשרת של האתר שבו אתם גולשים.

אפשר לחשוב על זה כמו על תעודת זהות דיגיטלית.

התעודה הזו אומרת לאתר: "היי, אני דפדפן כרום בגרסה X, מגיע ממערכת הפעלה ווינדוס 11, וזה המנוע שלי".

למה זה חשוב? כי המידע הזה מאפשר לאתר להתאים את התצוגה והפונקציונליות שלו במיוחד אליכם.

בכל פעם שאתם (או כל תוכנה אחרת) מבקשים לגשת לעמוד אינטרנט, הבקשה הזו (שנקראת בקשת HTTP) כוללת "Header" (כותרת) עם מידע מזהה.

אחת הכותרות החשובות ביותר היא ה-User-Agent. היא מספרת לשרת של האתר מי הגורם שמבקש את המידע.

המידע הזה יכול לכלול:

• שם הדפדפן: Chrome, Firefox, Safari, Edge וכו'.
• גרסת הדפדפן: למשל, Chrome/125.0.0.0.
• מערכת ההפעלה: Windows, macOS, Android, iOS.
• סוג המכשיר: האם מדובר במחשב שולחני, טאבלט או סמארטפון.
• מנוע הרינדור: Gecko (של פיירפוקס), WebKit (של ספארי), Blink (של כרום) ועוד.

השרת, מצויד במידע הזה, יכול "להחליט" איזו גרסה של האתר להגיש לכם.

למשל:

• לגולש ממובייל? נגיש לו את הגרסה הרספונסיבית של האתר, עם כפתורים גדולים יותר וניווט מותאם.
• לגולש מדפדפן ישן (נניח, אינטרנט אקספלורר 8)? אולי נציג לו גרסה פשוטה יותר של האתר, בלי כל הפיצ'רים המתקדמים שפשוט לא יעבדו אצלו וישברו את התצוגה.
• לגוגל-בוט? אהה, פה הסיפור נהיה מעניין. נגיש לו את הגרסה הכי ברורה, נקייה ומהירה, כדי שיאנדקס אותנו כמו שצריך.

כמו שאתם מתחילים להבין, היכולת של השרת להתאים את עצמו למבקש הבקשה היא קריטית. וכשזה מגיע לעולם של קידום אורגני מקצועי, ההבנה הזו הופכת מכלי "נחמד לדעת" לכלי עבודה חיוני.

איך נראית מחרוזת User-Agent? דוגמאות מהחיים האמיתיים

זה אולי נשמע כמו סינית, אבל זה די פשוט כשמפרקים את זה.

בואו נראה כמה דוגמאות:

דוגמה 1: דפדפן כרום על ווינדוס 10

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36

• Mozilla/5.0: שריד היסטורי מהימים הראשונים של האינטרנט. כמעט כל הדפדפנים המודרניים כוללים את זה כדי להבטיח תאימות. אל תתעכבו על זה.
• (Windows NT 10.0; Win64; x64): מערכת ההפעלה (ווינדוס 10, 64-ביט).
• AppleWebKit/537.36: מנוע הרינדור של הדפדפן.
• (KHTML, like Gecko): עוד ענייני תאימות היסטוריים.
• Chrome/125.0.0.0: הדפדפן והגרסה שלו.
• Safari/537.36: שוב, מטעמי תאימות.

דוגמה 2: אייפון עם דפדפן ספארי

Mozilla/5.0 (iPhone; CPU iPhone OS 17_5_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.5 Mobile/15E148 Safari/604.1

כאן אנחנו רואים בבירור שמדובר באייפון (iPhone), עם מערכת הפעלה iOS 17.5.1, והדפדפן הוא ספארי.

דוגמה 3: והנה הכוכב של עולם ה-SEO, הבוט של גוגל!

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

זה ה-User-Agent של Googlebot בגרסת המובייל שלו.

שימו לב, הוא "מזדהה" כאילו הוא דפדפן כרום על מכשיר אנדרואיד, אבל בסוף הוא מוסיף את הזהות האמיתית שלו: (compatible; Googlebot/2.1; +http://www.google.com/bot.html).

זו הדרך שלו להגיד: "היי, אני נראה ומתנהג כמו גולש רגיל ממובייל, אבל אני בעצם הרובוט של גוגל שבא לסרוק את האתר שלך".

User-Agents ו-SEO: סיפור אהבה-שנאה

אחרי שהבנו את הבסיס, הגיע הזמן לדבר תכלס. איך כל זה מתחבר לעבודה היומיומית שלנו כמקדמי אתרים?

למה יועץ קידום אתרים שמכבד את עצמו חייב להבין את הניואנסים האלה? הקשר הוא הדוק, ולפעמים אפילו קריטי.

1. אינדוקס Mobile-First: גוגל רואה את האתר שלך דרך עיניים של סמארטפון

מאז שגוגל עברה באופן רשמי לאינדוקס מובייל-פירסט (Mobile-First Indexing), זה אומר שהיא סורקת ומאנדקסת את האינטרנט בעיקר באמצעות ה-User-Agent של Googlebot-Mobile

במילים פשוטות: הגרסה שגוגל רואה ועל פיה היא מדרגת אתכם היא גרסת המובייל של האתר שלכם.

מה זה אומר מבחינתכם?

• אם גרסת המובייל שלכם שונה מהותית מגרסת הדסקטופ, אתם בבעיה. אם למשל, הסתרתם תוכן חשוב בגרסת המובייל כדי "לנקות" את העיצוב, גוגל פשוט לא יראה את התוכן הזה. מבחינתו, הוא לא קיים.
• חוויית המשתמש במובייל היא קריטית. אם האתר שלכם נטען לאט במובייל, הכפתורים קטנים מדי, או שהטקסט לא קריא – גוגל יודע את זה, וזה ישפיע על הדירוגים.
• אתם חייבים לבדוק איך Googlebot-Mobile רואה את האתר שלכם. לא מספיק להסתכל על האתר מהנייד שלכם. לפעמים יש הגדרות בשרת או בקוד שגורמות לכך שמה שגוגל רואה שונה ממה שאתם רואים.

ופה נכנס לתמונה הכוח של שינוי ה-User-Agent שלכם.

2. "להתחזות" לגוגל-בוט: הכלי הסודי של כל מקדם אתרים

אחד הדברים החזקים ביותר שתוכלו לעשות זה לבדוק את האתר שלכם בדיוק כפי שגוגל רואה אותו.

איך עושים את זה? פשוט מאוד: משנים את ה-User-Agent של הדפדפן שלכם לזה של גוגל-בוט.

כמעט בכל דפדפן מודרני (כמו כרום) אפשר לעשות את זה דרך כלי המפתחים (Developer Tools):

1. לחצו על F12 (או קליק ימני -> Inspect).
2. לחצו על שלוש הנקודות בצד ימין למעלה של חלון כלי המפתחים.
3. בחרו More tools -> Network conditions.
4. בטלו את הסימון של Use browser default תחת User agent.
5. בחרו מהרשימה Googlebot Smartphone או הדביקו מחרוזת User-Agent ספציפית.
6. רעננו את העמוד (F5).

וזהו! עכשיו הדפדפן שלכם שולח לאתר את ה-"תעודת הזהות" של גוגל-בוט.

מה אתם יכולים לגלות ככה?

• תוכן מוסתר (Cloaking): האם האתר מציג לגוגל תוכן שונה ממה שהוא מציג לגולשים רגילים? זו טכניקה אסורה (Black Hat SEO) שיכולה להוביל לעונשים חמורים. זו דרך מצוינת לתפוס את זה.
• בעיות רינדור: האם יש סקריפטים או קבצי CSS שנחסמו לסריקה של גוגל (דרך קובץ robots.txt למשל)? אם כן, ייתכן שגוגל רואה גרסה "שבורה" ומכוערת של האתר שלכם, מה שפוגע ביכולת שלו להבין את התוכן וההקשר.
• ניתובים שגויים: האם יש הפניות (redirects) שקורות רק עבור גוגל-בוט? זה יכול להיות סימן לבעיה חמורה או אפילו לפריצה.

הבדיקה הפשוטה הזו יכולה לחשוף בעיות קריטיות שמשפיעות על ה-SEO שלכם, בעיות שלעולם לא הייתם מגלים בגלישה רגילה.

3. ניתוח לוגים: לגלות מי באמת מבקר באתר שלכם

כל בקשה שמגיעה לשרת שלכם נרשמת בקובץ שנקרא "לוג" (Log File).

הקובץ הזה מכיל אוצר שלם של מידע, ובין היתר, הוא מתעד את ה-User-Agent של כל מבקש.

ניתוח הלוגים מאפשר לכם לראות בדיוק:

• באיזו תדירות גוגל-בוט סורק את האתר שלכם? (מה שנקרא "תקציב זחילה" או Crawl Budget).
• אילו עמודים הוא סורק הכי הרבה? ואילו עמודים הוא מזניח?
• האם יש בוטים אחרים (טובים או רעים) שסורקים את האתר? כמו Bingbot, AhrefsBot, SemrushBot וכו'.
• האם יש עלייה חריגה בסריקות מבוט מסוים? זה יכול להעיד על התקפה או בעיה טכנית.

כשאתם רואים בלוגים שה-User-Agent של גוגל מבקר באתר שלכם אלפי פעמים ביום אבל לא סורק את העמודים החשובים לכם, זו נורת אזהרה שצריך לבדוק למה.

אולי יש לכם בעיית קישורים פנימיים, או שהעמודים האלה חסומים לסריקה. ללא הבנת ה-User-Agent, ניתוח לוגים הוא כמעט בלתי אפשרי.

למידע נוסף על תקציב זחילה של גוגל:

בעיות נפוצות הקשורות ל-User Agent ואיך להימנע מהן

1. הטעות הקלאסית: חסימת גוגל-בוט בטעות

זה קורה יותר ממה שאתם חושבים. מפתח נלהב רוצה לחסום בוטים זדוניים שמכבידים על השרת. הוא מכניס לשרת כלל שאומר "אם ה-User-Agent מכיל את המילה 'bot', תחסום אותו".

הוא שוכח ש…גם ל-User-Agent של גוגל יש את המילה 'Googlebot'. התוצאה? האתר נעלם מהאינדקס של גוגל בתוך ימים. שבועות של עבודה יורדים לטמיון בגלל שורת קוד אחת שגויה (קרה לי יותר מפעם אחת).

2. הסיפור מהצד השני: לתת לכולם להיכנס

יש בעלי אתרים שכל כך מפחדים לחסום את גוגל, שהם פשוט לא חוסמים שום בוט.

התוצאה היא ששרת האתר שלהם מוצף בסריקות מאינספור בוטים – כלים של מתחרים, סקריפטים שאוספים אימיילים (scrapers), בוטים סיניים לא מזוהים ועוד.

כל הסריקות האלה מעמיסות על השרת, מאטות את האתר עבור גולשים אמיתיים וגם עבור גוגל-בוט, ומבזבזות את תקציב הזחילה היקר שלכם. חשוב לדעת אילו בוטים כדאי לחסום (דרך קובץ robots.txt) ואילו חיוני להשאיר.

3. הצגת תוכן שונה (Cloaking) – אל תתפתו!

לפעמים, מתוך כוונה טובה, בעל אתר חושב לעצמו: "אני אציג לגוגל-בוט גרסה מלאה בטקסט וקישורים, כדי שהוא יבין בדיוק על מה האתר, ולגולשים אני אציג גרסה יפהפייה עם המון תמונות ואנימציות".

הרעיון הזה, שנקרא Cloaking, הוא הפרה ישירה של הנחיות גוגל.

ברגע שגוגל יגלה את זה (והוא יגלה), האתר שלכם צפוי לעונש חמור, עד כדי הסרה מוחלטת מתוצאות החיפוש.

הדרך הנכונה היא להגיש את אותו תוכן HTML גם לגוגל וגם לגולשים, ופשוט להשתמש ב-CSS ו-JavaScript כדי לעצב ולהתאים את התצוגה למכשירים שונים.

User-Agents חשובים שכדאי להכיר

כדי לעשות קצת סדר, הנה טבלה עם ה-User-Agents המרכזיים שכל איש SEO צריך להכיר:

איך כל זה הופך להצלחה בקידום אתרים?

סיפור קצר על לקוח שהגיע אליי, בעל חנות וירטואלית גדולה בתחום האופנה.

הוא השקיע הון באתר חדש, עיצוב מדהים, תמונות מקצועיות, הכל פיקס. אבל המכירות היו ברצפה. הדירוגים בגוגל פשוט לא זזו, למרות שהאתר הישן שלו היה מדורג לא רע.

"דניאל," הוא אמר לי בייאוש, "אני לא מבין. האתר החדש טוב יותר בכל פרמטר. הוא מהיר יותר, יפה יותר, חוויית המשתמש בו מעולה. למה גוגל שונא אותי?"

התשובה, כמו שאתם בטח מנחשים, הייתה קשורה ל-User-Agent.

התחלתי את הבדיקה הבסיסית ביותר: נכנסתי לאתר, שיניתי את ה-User-Agent שלי לזה של גוגל-בוט, ורעננתי את העמוד. התוצאה הייתה… מסך לבן. ריק. כלום.

מה הסתבר? המפתחים של האתר החדש השתמשו בטכנולוגיית JavaScript מאוד מתקדמת כדי להציג את המוצרים.

הטכנולוגיה הזו הסתמכה על יכולות מסוימות של דפדפנים מודרניים. הבעיה הייתה שהגרסה של מנוע הרינדור שגוגל-בוט השתמש בה באותה תקופה לא תמכה באופן מלא בסקריפטים האלה.

התוצאה: גולשים רגילים ראו אתר מדהים. גוגל-בוט ראה דף ריק. ומבחינת גוגל, אם התוכן לא שם, אין מה לדרג.

העבודה שלנו הייתה טכנית ומורכבת. היינו צריכים ליישם פתרון שנקרא "רינדור דינמי" (Dynamic Rendering).

הרעיון היה לזהות בשרת את ה-User-Agent של גוגל-בוט, ובמיוחד עבורו, להריץ את ה-JavaScript בצד השרת ולהגיש לו גרסת HTML "אפויה" ומוכנה, כזו שהוא יכול לקרוא ולהבין בקלות. לגולשים רגילים, המשכנו להגיש את הגרסה הרגילה.

זו לא הייתה עבודה של יום אחד, אבל אחרי שהפתרון עלה לאוויר, התוצאות היו דרמטיות. בתוך מספר שבועות, התחלנו לראות את הדירוגים מטפסים בחזרה, ואז עוקפים את הדירוגים של האתר הישן. התנועה האורגנית גדלה, והמכירות… בואו נגיד שהלקוח היה מאוד מרוצה.

המסקנה – בכל מה שקשור לטכנולוגיה, לפעמים אובר-התחכמות יכול להיות הרסני. Keep it simple.

דבר נוסף – הסיפור הזה ממחיש נקודה קריטית: לפעמים, הבעיה הכי גדולה שמפרידה ביניכם לבין המקום הראשון בגוגל היא לא התוכן או הקישורים.

לפעמים זאת בעיה טכנית קטנה ומסתתרת, כזו שאפשר לגלות רק אם יודעים איפה לחפש ואיך להסתכל על האתר דרך העיניים הנכונות – העיניים של גוגל.

שאלות ותשובות? בבקשה

1. האם אני יכול לחסום User-Agent מסוים מלגשת לאתר שלי?

בהחלט. הדרך הנפוצה ביותר לעשות זאת היא באמצעות קובץ ה-robots.txt שלכם. לדוגמה, כדי לחסום את הבוט של Ahrefs, תוכלו להוסיף את השורות הבאות לקובץ:

User-agent: AhrefsBot

Disallow: /

אפשר גם לחסום דרך הגדרות בשרת (למשל, בקובץ .htaccess), שזו שיטה חזקה יותר.

2. האם זה חוקי לשנות את ה-User-Agent שלי?

כן, זה חוקי לחלוטין. מפתחים ומקדמי אתרים עושים זאת כל הזמן למטרות בדיקה ואבחון (דיבאגינג). הבעיה מתחילה אם אתם משתמשים בזה כדי להונות אתרים או לבצע פעולות זדוניות.

3. האם גוגל תמיד משתמש באותו User-Agent?

לא. גוגל מעדכנת את ה-User-Agent של הבוטים שלה מעת לעת, בעיקר כדי לשקף את הגרסאות העדכניות של דפדפן כרום. חשוב להתעדכן מדי פעם ברשימה הרשמית שגוגל מפרסמת.

4. מה ההבדל בין חסימה ב-robots.txt לחסימה בשרת?

חסימה ב-robots.txt היא בקשה מנומסת. הבוט "מתבקש" לא לסרוק חלקים מסוימים באתר.

בוטים "טובים" (כמו גוגל ובינג) יצייתו לבקשה.

בוטים "רעים" (כמו ספאמרים) פשוט יתעלמו ממנה. חסימה ברמת השרת היא כמו דלת נעולה – היא מונעת פיזית את הגישה ללא קשר לזהות הבוט.

5. האם ה-User-Agent משפיע על ניתוח נתונים ב-Google Analytics?

באופן עקיף.

גוגל אנליטיקס אוסף נתונים על הדפדפן, מערכת ההפעלה וסוג המכשיר של הגולשים שלכם.

המידע הזה נלקח, בין היתר, ממחרוזת ה-User-Agent. זה מאפשר לכם לפלח את הקהלים שלכם ולהבין למשל, מאיזה דפדפן מגיעה רוב התנועה שלכם.

6. האתר שלי בנוי בוויקס. האם אני צריך לדאוג לגבי User-Agent?

באופן כללי, פלטפורמות כמו וויקס מנהלות את רוב הדברים הטכניים האלה מאחורי הקלעים.

הן דואגות להגיש לגוגל-בוט גרסה קריאה של האתר.

עם זאת, הבנה של הנושא עדיין חשובה, במיוחד אם אתם נתקלים בבעיות סריקה או אינדוקס.

קידום אתרי וויקס דורש הבנה גם של המגבלות והיתרונות של הפלטפורמה.

7. מה זה "User-Agent Spoofing"?

זו בדיוק הפעולה של שינוי ה-User-Agent כדי "להתחזות" לדפדפן או בוט אחר.

כאמור, זה שימושי מאוד לבדיקות, אבל יכול לשמש גם למטרות זדוניות.

8. האם אני צריך ליצור גרסה שונה של האתר שלי לכל User-Agent?

ממש לא! זו הייתה גישה שהייתה נפוצה בעבר (לפני עידן העיצוב הרספונסיבי).

היום, הגישה המומלצת היא לבנות אתר אחד עם HTML, CSS ו-JavaScript זהים לכולם, ולתת לעיצוב הרספונסיבי להתאים את התצוגה לגודל המסך של המכשיר.

זה פשוט יותר לתחזוקה והרבה יותר טוב עבור שיווק אורגני באופן כללי.

9. מה זה "User-Agent Client Hints"?

זו יוזמה חדשה יחסית של גוגל כרום, שמטרתה להפחית את כמות המידע שנשלחת במחרוזת ה-User-Agent הראשית (מטעמי פרטיות), ולאפשר לשרת לבקש באופן אקטיבי רק את המידע שהוא באמת צריך (כמו סוג המכשיר או רוחב התצוגה).

זה נושא מתקדם יותר, אבל חשוב להכיר אותו כי הוא הופך להיות הסטנדרט החדש.

10. אם אני רואה בוטים שאני לא מכיר סורקים את האתר, מה לעשות?

הצעד הראשון הוא לחפש את שם הבוט בגוגל.

הרבה פעמים תגלו שזה בוט לגיטימי של כלי SEO, ארכיון אינטרנט וכדומה.

אם מדובר בבוט לא מזוהה שסורק את האתר באגרסיביות ומאט אותו, כדאי לשקול לחסום אותו ברמת השרת.

סיכום: אל תזלזלו בתעודת הזהות הדיגיטלית

ה-User-Agent אולי נשמע כמו מושג טכני קטן ושולי, אבל כמו שהבנתם, הוא יושב בצומת קריטי של עולם האינטרנט.

הוא משפיע על חוויית המשתמש, על האופן שבו גוגל רואה ומדרג אתכם, ועל היכולת שלכם לאבחן ולפתור בעיות טכניות עמוקות.

בתור מי שעוסק בתחום הזה כבר קרוב ל-20 שנים, אני יכול להגיד בביטחון: ההבדל בין מקדם אתרים טוב למקדם אתרים מעולה טמון לעיתים קרובות בהבנה של הפרטים הקטנים האלה.

היכולת לחשוב כמו גוגל, לראות את האתר דרך העיניים של הבוט שלו, ולתרגם את המידע הזה לתובנות מעשיות – זה מה שמביא תוצאות אמיתיות.

עוד מדריכים:

• המדריך שלי על קידום אתרים טכני
• 27 טכניקות עבור קידום עסקים בגוגל
• בוט לקידום בגוגל: ממה חשוב להיזהר
• המדריך שלי על htaccess
• כל מה שחשוב לדעת על שגיאות שרת 500