מה זה קובץ llms.txt, למה זה חשוב ואיך עובדים עם זה?

קובץ llms.txt (קיצור של Large Language Models) זהו תקן חדש חדש, מעין "robots.txt על סטרואידים", שמטרתו לתת לבעלי אתרים שליטה על האופן שבו מודלי שפה גדולים (כמו ChatGPT, Gemini, ודומיהם) יכולים להשתמש בתוכן שלהם.

במילים פשוטות, זהו קובץ טקסט שאתם מעלים לשרת שלכם, ובו אתם מגדירים למנועי חיפוש ולחברות AI אחרות אילו תכנים מותר להם "ללמוד" מהאתר שלכם, באילו תנאים, וכיצד ניתן להשתמש במידע הזה.

זהו כלי שנועד לגשר על הפער בין הרצון של חברות ה-AI "לבלוע" כל פיסת מידע ברשת כדי לאמן את המודלים שלהן, לבין זכויות היוצרים והאינטרסים שלכם, יוצרי התוכן, בעלי אתרים ומקדמי אתרים.

למה צריך קובץ llms.txt?

בעידן שבו מנועי חיפוש משלבים יותר ויותר תשובות מבוססות AI (כמו AI Overviews של גוגל), והמשתמשים פונים לצ'אטבוטים לקבל מידע, השאלה מי שולט בתוכן שלכם וכיצד הוא מוצג הופכת למרכזית.

קובץ llms.txt מאפשר לכם לקבוע את כללי המשחק, להגן על הקניין הרוחני שלכם, ואולי בעתיד אפילו לדרוש תשלום על השימוש במידע שיצרתם בעמל רב.

עכשיו, אחרי שהבנו את התמצית, בואו נתעמק בזה קצת יותר, נבין איך זה עובד טכנית, מה המשמעויות של זה עבור עתיד תחום ה-SEO, ואיך אתם, כבעלי אתרים, יכולים (וצריכים) להתכונן למהפכה הזו.

לא הבנתי, למה הקובץ llms.txt צריך לעניין אותי?

דמיינו את התרחיש הבא: במשך שנים אתם עובדים על האתר שלכם. אתם כותבים מאמרים מושקעים ותוכן איכותי, מצלמים תמונות מקוריות, יוצרים מדריכים מפורטים, ובונים לעצמכם שם של אוטוריטה בתחום.

ואז, יום אחד, אתם מגלים שכל הידע הזה "נשאב" על ידי מודל שפה ענק, ועכשיו הוא מופיע כתשובה ישירה במנוע חיפוש, בלי לתת לכם קרדיט ובלי שהגולש יצטרך בכלל להיכנס לאתר שלכם.

מתסכל, נכון?

בדיוק כאן נכנס לתמונה קובץ ה-llms.txt. הקובץ הזה הוא יוזמה שצמחה מהשטח, מתוך ההבנה שהכלים הקיימים, כמו קובץ robots.txt, פשוט לא מספיקים בעולם החדש של AI גנרטיבי.

robots.txt נולד כדי להגיד לזחלנים של מנועי חיפוש "היי, אל תיכנסו לחלק הזה של האתר". הוא עובד בצורה בינארית – מותר או אסור.

אבל מה קורה כשאתם כן רוצים שהתוכן שלכם יופיע בתוצאות החיפוש הרגילות, אבל לא רוצים שהוא ישמש לאימון מודלי AI שיציגו אותו כתשובה ישירה וישאירו אתכם מחוץ למשחק?

כאן llms.txt נותן מענה הרבה יותר מתוחכם. הוא מאפשר לכם להגדיר כללים הרבה יותר מפורטים ומדויקים.

אתם יכולים להגיד משהו כמו:

• "גוגל, מותר לך לסרוק את כל האתר שלי ולהציג אותו בתוצאות החיפוש האורגניות."
• "אבל, אני אוסר עלייך להשתמש בתוכן מהבלוג שלי כדי לאמן את מודל ה-Gemini שלך."
• "לגבי התוכן בעמודי המוצרים, אני מרשה להשתמש בו לאימון, אבל רק למטרות של סיכום מידע ולא ליצירת תוכן חדש."
• "ואם כבר השתמשתם בתוכן, אני דורש שתתנו לי קרדיט עם קישור בולט לאתר."
• "ולחברת OpenAI (שמפעילה את ChatGPT), אני אוסר לחלוטין כל שימוש בתוכן שלי, נקודה."

אתם מבינים את הכוח? זוהי הצהרת כוונות דיגיטלית שנותנת לכם, בעלי האתר, את המושכות לידיים. זהו המעבר משליטה גסה על גישה לשליטה מדויקת על שימוש.

איך הגענו עד הלום?

כדי להבין את החשיבות של llms.txt, בואו נחזור רגע אחורה בזמן.

מאז תחילת דרכי בעולם האינטרנט אי שם ב-2007, וביתר שאת כשהתחלתי לתת שירותי SEO (קידום אתרים) ב-2009 (מה זה קידום אורגני?), העסקה הייתה פשוטה: אנחנו, יוצרי התוכן, מספקים לגוגל תוכן איכותי בחינם.

בתמורה, גוגל שולח אלינו תנועה של גולשים שמחפשים את המידע הזה.

כולם מרוויחים.

הגולש מקבל תשובה, גוגל מרוויח מפרסומות, ואנחנו מקבלים לקוחות פוטנציאליים.

אבל אז הגיע ה-AI הגנרטיבי וטרף את הקלפים.

פתאום, גוגל ומנועי חיפוש אחרים יכולים לספק את התשובה בעצמם, על בסיס התוכן שהם "למדו" מאיתנו.

הגולש מקבל את מבוקשו ישירות בדף התוצאות, והצורך שלו להקליק ולהיכנס לאתר שלנו הולך ופוחת. זה לא תרחיש דמיוני, זה קורה כבר עכשיו עם פיצ'רים כמו SGE (Search Generative Experience) או AI Overviews. ויש בהחלט מגמת ירידה של טראפיק אורגני בהרבה מאד תחומים.

גם יצרתי סרטון שמסביר איך אפשר להתמודד עם זה:

בכל מקרה, הסיפור הזה הוא לא רק הסיפור שלי, אלא של כל מי שיוצר תוכן באינטרנט.

במשך שנים בנינו נכסים דיגיטליים, השקענו זמן, כסף וידע, ופתאום אנחנו עומדים בפני איום רציני.

אם התנועה האורגנית תרד משמעותית, כל המודל העסקי של שיווק אורגני נמצא בסכנה.

זו הסיבה שיוזמה כמו llms.txt יכולה להיות מאד משמעותית. היא הדרך שלנו, כקהילה של יוצרי תוכן, בעלי אתרים ואנשי SEO, להגיד לחברות הטכנולוגיה הגדולות: "עד כאן. אנחנו רוצים להיות שותפים, לא רק חומר גלם למכונה שלכם". אם אתם רוצים לדעת איך להיות ראשון בגוגל בעתיד, ההבנה והיישום של כלים כאלה יהיו חלק בלתי נפרד מהאסטרטגיה.

איך עובדים עם קובץ llms.txt? המדריך הטכני

אוקיי, אז השתכנענו שזה חשוב. אבל איך בפועל מיישמים את זה?

למרות שהתקן עדיין בפיתוח ולא אומץ רשמית על ידי כל החברות הגדולות (נכון לכתיבת שורות אלה), הרעיון הוא לשמור על פשטות, בדומה ל-robots.txt. התהליך כולל שני שלבים עיקריים:

1. יצירת קובץ טקסט פשוט בשם llms.txt.
2. העלאת הקובץ לתיקיית השורש (root) של האתר שלכם, כך שהוא יהיה נגיש בכתובת www.yourdomain.co.il/llms.txt.

מבנה הקובץ והפקודות (הוראות)

בתוך הקובץ, נשתמש בתחביר פשוט כדי להגדיר את הכללים. המבנה הבסיסי דומה לזה של robots.txt וכולל שני רכיבים מרכזיים:

• User-agent: כאן נגדיר לאיזה בוט או מודל AI אנחנו פונים. נוכל להשתמש ב-* כדי לפנות לכולם, או בשם ספציפי כמו Google-Extended (הבוט של גוגל לאימון מודלים) או ChatGPT-User.
• הוראות (Directives): כאן נפרט מה מותר ומה אסור לעשות.

הנה כמה מההוראות המרכזיות שהוצעו במסגרת התקן:

• Allow-training: האם מותר להשתמש בתוכן לאימון מודלי AI.
• Allow-search: האם מותר להשתמש בתוכן כדי לענות על שאילתות חיפוש (למשל, ב-AI Overviews).
• Allow-generation: האם מותר למודל להשתמש בתוכן שלכם כדי לייצר תוכן חדש (למשל, לכתוב מאמר חדש שמבוסס על שלכם).
• Require-citation: דרישה למתן קרדיט (ציטוט/קישור). אפשר להגדיר את סוג הקרדיט הנדרש (למשל, inline, block).
• Licensing: הפניה למסמך רישיון או תנאי שימוש מפורטים יותר, ואולי בעתיד גם מודלים של תשלום.

User-agent: *
Allow-training: no
Allow-search: yes
Require-citation: block

# כללים כלליים לכולם (ברירת מחדל)
User-agent: *
Allow-training: no
Allow-search: no

# כללים מיוחדים לבוט של גוגל
User-agent: Google-Extended
Allow-training: yes
Allow-search: yes
Require-citation: inline

# כללים מיוחדים לבוט של ChatGPT
User-agent: ChatGPT-User
Allow-training: no
Allow-search: no

שילוב עם E-E-A-T ו-AI Overviews

כאן הסיפור נהיה אפילו יותר מעניין.

גוגל הבהירו שהם רוצים להציג תוכן מועיל, אמין ואיכותי. עקרונות ה-E-E-A-T (Experience, Expertise, Authoritativeness, Trustworthiness – ניסיון, מומחיות, סמכותיות, אמינות) הם הדרך שלהם למדוד את זה.

קובץ llms.txt יכול לתרום משמעותית ל-E-E-A-T שלכם.

איך?

1. הצהרת סמכותיות (Authoritativeness): עצם העובדה שיש לכם קובץ llms.txt משדרת לגוגל שאתם מבינים את כללי המשחק החדשים. אתם מצהירים באופן פעיל על הבעלות והשליטה שלכם בתוכן.
2. בניית אמון (Trustworthiness): כשאתם מגדירים כללים ברורים, אתם יוצרים מערכת יחסים שקופה עם מנועי החיפוש. אתם אומרים "זה התוכן שלי, ואלה תנאי השימוש בו". זה בונה אמון.
3. הפגנת מומחיות (Expertise): בעל אתר שמטמיע llms.txt הוא בעל אתר שמסתכל קדימה, מבין את המגמות הטכנולוגיות, ונחשב מומחה SEO שמבין את התמונה הגדולה.
4. הדגשת ניסיון (Experience): תוכלו להשתמש בקובץ כדי להגיד למנועי חיפוש "התוכן הזה מבוסס על ניסיון אישי של 15 שנה בתחום, ולכן אני דורש התייחסות מיוחדת".

בנוסף, שליטה על אופן השימוש בתוכן שלכם ב-AI Overviews היא קריטית.

אם תחסמו לחלוטין את השימוש, אתם עלולים להיעלם מהתשובות הללו. אם תאפשרו אותו ללא תנאים, אתם עלולים לאבד תנועה. llms.

xt מאפשר לכם למצוא את שביל הזהב: "השתמשו בתוכן שלי, אבל תנו לי קרדיט ותשלחו אליי את הגולשים להרחבה".

זהו דיאלוג, לא מונולוג. אם אתם מרגישים שהתהליך הזה מורכב מדי, זה בדיוק המקום שבו יועץ קידום אתרים יכול להיכנס לתמונה, לעזור לכם לגבש את האסטרטגיה הנכונה לאתר הספציפי שלכם, ולוודא שההטמעה הטכנית מתבצעת כהלכה.

האם קובץ llms.txt הוא העתיד של השליטה בתוכן?

כן, בתור אנשי דיגיטל, אנחנו כל הזמן שומעים על "הדבר הגדול הבא".

רוב הזמן, זה סתם באזז חולף.

אבל אני מאמין שיוזמת llms.txt (או תקן דומה שיצמח ממנה) היא סיפור אחר לגמרי. היא נוגעת בעצב חשוף של כלכלת היוצרים ובעתיד של האינטרנט הפתוח. הנה כמה סיבות למה אני חושב שזה כל כך משמעותי, ואיך זה הולך להשפיע על כל מקדם אתרים מקצועי.

1. המאבק על הקניין הרוחני

בואו נדבר רגע בכנות. התוכן שאנחנו יוצרים הוא נכס.

מאמר של 3,000 מילה כמו זה דורש שעות של מחקר, ניסיון, כתיבה ועריכה.

זו עבודה. במשך שנים, ההסכם הלא-כתוב היה שהעבודה הזו מתוגמלת בתנועה אורגנית.

עכשיו, כשחברות טכנולוגיה בשווי טריליוני דולרים משתמשות בנכס הזה בחינם כדי לאמן את המוצרים המסחריים שלהן, משהו במשוואה הזאת נשבר.

קובץ llms.txt הוא הצעד הראשון בהחזרת האיזון. הוא מאפשר לנו, היוצרים, להניף דגל ולהגיד: "הי, זה שלי. אם אתם רוצים להשתמש בזה, בואו נדבר על התנאים"

זה פותח פתח למודלים עתידיים, אולי אפילו למודלים של מיקרו-תשלומים על שימוש בתוכן.

תחשבו על זה כמו על מה שקרה בתעשיית המוזיקה עם הופעת הסטרימינג. בהתחלה היה כאוס, אבל בסופו של דבר נוצרו מודלים (כמו ספוטיפיי ואפל מיוזיק) שמפצים את האמנים על השימוש ביצירותיהם. llms.txt הוא אבן הפינה לבניית מודל דומה עבור תוכן טקסטואלי.

2. אסטרטגיית הגנה והזדמנות עסקית

כבעל עסק, אני תמיד חושב במונחים של סיכון והזדמנות.

המצב הנוכחי מציב סיכון ברור: ירידה בתנועה האורגנית. אבל הוא גם מציג הזדמנות.

• ההזדמנות להפוך לספק מידע פרימיום: אם יש לכם תוכן ייחודי ואיכותי באמת (וזה המפתח), תוכלו להשתמש ב-llms.txt כדי להגביל את הגישה אליו. תוכלו להחליט שחלק מהתוכן שלכם זמין לכולם, וחלק אחר, המעמיק והמקצועי יותר, זמין רק בתנאים מסוימים. אולי תדרשו רישום, אולי תשלום, ואולי תאפשרו גישה רק למנועי חיפוש שיסכימו לתנאים שלכם.
• סטוריטלינג ככלי "למכור" את הרעיון: זה בדיוק המקום שבו אני יכול "למכור" לכם את חשיבות העבודה עם סוכנות לקידום אתרים. אתם עסוקים בניהול העסק שלכם. אין לכם זמן לעקוב אחרי כל שינוי טכנולוגי קטן. התפקיד שלי הוא לא רק להביא לכם תנועה היום, אלא לוודא שהנכסים הדיגיטליים שלכם מוגנים ומוכנים לעתיד. בניית אסטרטגיית llms.txt היא חלק מהשירות הזה. זה לא רק עניין טכני, זו החלטה אסטרטגית עסקית.

3. תמיכה בחיפוש קולי (Voice Search) וחיפושים מורכבים

אנשים מדברים אחרת ממה שהם כותבים.

חיפושים קוליים הם לרוב ארוכים יותר, ובנויים כשאלות שלמות ("היי גוגל, מה ההבדל בין קידום אתרים אורגני לממומן?").

התשובות לשאלות האלה מגיעות לרוב מפיצ'רים כמו Featured Snippets או AI Overviews.

על ידי בניית התוכן שלכם סביב שאלות ותשובות (כמו שאני מדגים גם כאן), ושימוש ב-llms.txt כדי לאפשר למנועי חיפוש להשתמש בתוכן הזה למענה על שאלות (תחת התנאים שלכם, כמובן), אתם ממצבים את עצמכם כמועמדים מובילים להופיע בתשובות הקוליות. זה קריטי במיוחד עבור קידום אתרים לעסקים קטנים, שלעיתים קרובות נותנים מענה לשאלות לוקאליות או נישתיות מאוד, שהן אידיאליות לחיפוש קולי.

4. טבלה: השוואה בין robots.txt ל-llms.txt

כדי לסכם את ההבדלים המהותיים, הנה טבלה פשוטה:

הטבלה הזו מראה בבירור ש-llms.txt הוא לא תחליף ל-robots.txt, אלא השלמה הכרחית שלו, שמותאמת לאתגרי העידן הנוכחי.

אם אתם מנהלים אתר, בין אם זה אתר תדמית, בלוג, או חנות למשל, ההבנה של שני הכלים האלה היא חיונית.

בסופו של דבר, הסיפור של llms.txt הוא סיפור על שליטה.

בעולם שבו המידע הוא הנפט החדש, השאלה מי קודח, מי מזקק ומי נהנה מהרווחים היא השאלה המרכזית.

כבעלי אתרים, התוכן שלנו הוא באר הנפט הפרטית שלנו. llms.txt הוא הגדר שאנחנו בונים סביבה, עם שער כניסה ברור ותנאי שימוש כתובים. זה הזמן להתחיל לבנות את הגדר הזו. .

שאלות ותשובות על llms.txt

1. האם גוגל וחברות אחרות כבר תומכות ב-llms.txt?

נכון לעכשיו, llms.txt הוא עדיין הצעה לתקן ואינו מאומץ באופן רשמי ורחב. עם זאת, גוגל כבר הציגה כלים דומים, כמו התג Google-Extended לקובץ robots.txt, שמאפשר לחסום שימוש בתוכן לאימון מודלי ה-AI שלה (כמו Gemini).

זה מראה שהם מודעים לצורך ומפתחים פתרונות. אימוץ תקן אחיד כמו llms.txt יהיה הצעד ההגיוני הבא.

2. האם שימוש ב-llms.txt כדי לחסום בוטים של AI יפגע ב-SEO שלי?

זו שאלת מיליון הדולר. התשובה היא "זה תלוי".

אם תחסמו באופן גורף כל שימוש בתוכן, אתם עלולים לא להופיע בתוצאות מבוססות AI כמו AI Overviews, מה שיכול להפחית את הנראות שלכם. כמו כן, אם לא תגדירו כללים, אתם עלולים לאבד תנועה ישירה.

המפתח הוא למצוא את האיזון: לאפשר שימוש למטרות חיפוש תוך דרישת קרדיט ברור, ולשקול חסימה רק של שימושים שאינם מיטיבים איתכם (כמו אימון מודלים של מתחרים).

3. האם אני חייב להיות מפתח כדי ליצור קובץ llms.txt?

ממש לא. כל מה שצריך זה עורך טקסט פשוט (כמו "פנקס רשימות" בווינדוס או TextEdit במק) וגישה להעלאת קבצים לשרת שלכם (בדרך כלל דרך cPanel, Plesk או FTP). הכנת הקובץ עצמו היא פשוטה ותוכלו להיעזר בכל כלי AI או בכל מיני אתרים שבוודאי יצוצו על מנת לחולל את הקובץ הזה (אינטואטיבית הייתי מחפש בגוגל משהו כמו "llms.txt generator".

4. מה ההבדל בין llms.txt לבין תגי מטא (meta tags) לשליטה בבוטים?

• llms.txt: פועל ברמת האתר כולו, מה שהופך אותו לכלי יעיל ומרכזי יותר לניהול מדיניות כוללת.
• תגי מטא (noai, noimageai): פועלים ברמת העמוד הבודד.

ניתן להשתמש בשניהם יחד: להגדיר כלל ברירת מחדל ב-llms.txt ולשנות אותו עבור עמודים ספציפיים באמצעות תגי מטא.

5. אם אני מפעיל חברה לקידום אתרים, האם אני צריך להטמיע את זה לכל הלקוחות שלי?

לדעתי באופן כללי, חברת SEO צריכה לעזור ללקוחות שלה עד כמה שאפשר, בכל מה שיכול לעזור לאתר שלהם להתקדם ולא לא להיפגע בחשיפה שלו במנועי החיפוש השונים. הייתי מחכה קצת שהנושא הזה יעבור "סטנדרטיזציה" ולראות איך העולם הזה מתקדם בשביל להחליט איך אני נכון להטמיע את הקובץ הזה, אם בכלל, בכל אתר.

6. מה יקרה אם אני פשוט אתעלם מכל הסיפור הזה?

בטווח הקצר, אולי לא הרבה. אבל בטווח הארוך, אתם מסתכנים בכך שהתוכן שלכם ישמש בחינם לבניית מוצרים שיתחרו בכם, ושהנראות שלכם במנועי החיפוש העתידיים תהיה תלויה לחלוטין בחסדיהם של אלגוריתמים. במילים אחרות, אתם משאירים את הדלת של הבית שלכם פתוחה לרווחה ומקווים לטוב.

7. האם הקובץ יכול לעזור לי עם בניית קישורים?

בעקיפין, כן. על ידי שימוש בהוראה Require-citation, אתם דורשים ממנועי ה-AI לתת לכם קרדיט עם קישור. אמנם קישורים אלה לא בהכרח יעבירו "מיץ קישורים", אבל הם כן יגבירו את החשיפה והתנועה לאתר.

8. יש לי אתר קטן, האם זה עדיין רלוונטי עבורי?

כן, ואולי אפילו יותר. אתרים גדולים (כמו הניו יורק טיימס) כבר תובעים חברות AI על שימוש לא מורשה בתוכן שלהם. לעסק קטן אין את המשאבים למלחמות משפטיות כאלה. llms.txt הוא קו ההגנה הראשון והזול ביותר שלכם.

לעוד מדריכים:

• המדריך שלי על קידום אתרים טכני
• אתר ידידותי למנועי חיפוש – מדריך שיסגור לכם את הפינה
• איך בונים היררכיה של אתר
• המדריך שלי על ליווי SEO