יוצר Robots.txt
איך ליצור קובץ Robots.txt
- בחרו תבנית — WordPress, Shopify, Wix או ריק
- הוסיפו כללים — אפשרו או חסמו נתיבים לסורקים ספציפיים
- חסמו סורקי AI — הפעילו/כבו בוטים בודדים
- הוסיפו Sitemap — הפנו סורקים למפת האתר
- תצוגה מקדימה והורדה — בדקו את התצוגה והורידו את הקובץ
שליטה בסורקי AI
אתרים מודרניים צריכים לנהל סורקי AI בנפרד ממנועי חיפוש. הכלי מאפשר חסימת סורקי אימון כמו GPTBot, CCBot ו-Google-Extended תוך השארת בוטים כמו Googlebot ו-Bingbot. אפשר גם להבדיל בין בוטי אימון AI לבוטי חיפוש AI (כמו ChatGPT-User או PerplexityBot).
תבניות לפלטפורמות
בחרו מתבניות מותאמות ל-WordPress (חוסם wp-admin, includes, plugins), Shopify (חוסם עגלה, checkout, admin), Wix (חוסם נתיבים פנימיים) או אתרי תוכן. כל תבנית עוקבת אחרי שיטות SEO מומלצות לפלטפורמה.
אמתו את ה-Robots.txt שלכם
עברו ללשונית אימות כדי לבדוק שגיאות תחביר, כללים כפולים, הנחיות סותרות והצהרות sitemap חסרות. קבלו הודעות שגיאה ברורות והצעות לתיקון לפני הפריסה.
בדקו גישת URL
השתמשו בלשונית בדיקה כדי לוודא אם URL ספציפי מותר או חסום לפי הכללים. בחרו User-Agent (Googlebot, Bingbot, GPTBot ועוד) והכניסו נתיב URL כדי לראות את הכלל התואם והתוצאה מיד.
חינם, פרטי, ללא הגבלות
הכלי רץ לחלוטין בדפדפן. ללא העלאות, ללא חשבונות, ללא הגבלות. צרו כמה קבצי robots.txt שתרצו. התוכן שלכם לא עוזב את המכשיר.
שאלות נפוצות
שחררו את הפוטנציאל המלא
קבלו גישה בלתי מוגבלת לכל הכלים, עיבוד מועדף ותכונות פרימיום.