שורה אחת ב-robots.txt תחסום אימון AI אצל ארבע חברות, אבל רק מ-2027

מה זה הסימון החדש לחסימת אימון AI ב-robots.txt?

זו קבוצה רגילה בקובץ robots.txt, אבל במקום שם של רובוט כותבים בה את המילה __usage_ai-training. שורת Disallow אומרת שאתם לא רוצים שהדפים ישמשו לאימון מודל גנרטיבי, ושורת Allow אומרת שאתם מסכימים. אפשר לחסום את כל האתר ולהשאיר פתוח רק תיקייה אחת, למשל ערכת עיתונאים.

ההצעה הוגשה ל-IETF, הגוף שמנסח תקני אינטרנט, על ידי Kevin Kelley מ-Anthropic. היא לא ממציאה פקודות חדשות, ולכן רובוט שלא מכיר אותה פשוט מדלג עליה. וזו עדיין טיוטה של אדם אחד, בלי מעמד רשמי בארגון התקינה.

מתי החברות יתחילו לכבד את הסימון?

אף אחת עוד לא קוראת אותו. Microsoft נתנה את התאריך היחיד, ה-1 בפברואר 2027. Google מכוונת לתחילת 2027, OpenAI כתבה "בחודשים הקרובים", ו-Anthropic הודיעה שהתחילה לבנות תמיכה, בלי תאריך. Meta, Amazon ו-Apple לא הצטרפו להתחייבות בשלב הזה. עד שהתמיכה תעלה, שורה כזו בקובץ לא תשנה דבר בפועל.

איפה הסימון החדש עלול להפתיע בעלי אתרים?

בשלושה מקומות. חסימה כללית של כל הרובוטים לא נחשבת כהבעת עמדה על אימון. אצל Google החסימה מוציאה אתכם גם מהציטוטים של Gemini. ובכל מקרה מדובר בבקשה מנומסת בלי אכיפה, כך שרובוט שלא מכבד אותה ימשיך לאסוף. הנה הפירוט לפני שאתם נוגעים בקובץ:

• כוכבית לא נחשבת. אם חסמתם את כל הרובוטים עם User-agent: *, מבחינת הטיוטה לא אמרתם כלום על אימון. צריך לכתוב את המילה החדשה במפורש.
• אצל Google זה גם מוריד אתכם מהתשובות של Gemini. Google תתייחס לחסימה כאילו חסמתם את Google-Extended, וזה כולל גם את הציטוטים עם קישור באפליקציות Gemini. מי שרוצה להופיע שם צריך לאשר את Google-Extended בנפרד.
• זו בקשה, לא מנעול. אין שום אכיפה טכנית. לפי נתונים של TollBit שצוטטו ב-PPC Land, כ-15% מרובוטי ה-AI באירופה כבר נכנסו לכתובות שאתרים חסמו.

מה שלא משתנה: הדירוג בחיפוש הרגיל של Google ו-Bing, ו-AI Overviews בחיפוש של Google, שנשלטים בהגדרות אחרות. על הצד השני של המטבע, הפרסומות שמגיעות ל-AI של גוגל, כתבנו בכתבה על פרסומות ב-AI Mode. ועל הסכנה לתנועה האורגנית קראו בכתבה על אתרים שנעלמים מגוגל.