רץ לפי בקשה בלבד
אין סריקה רציפה ואין תור רקע. הסורק פועל רק אחרי שמישהו הזין כתובת בטופס.
MrRobot-SEO-Analyser
הסורק שלנו מזדהה בשמו, ומכבד את הכללים שלכם.
MrRobot-SEO-Analyser הוא הסורק שמפעיל את האנלייזר SEO/GEO. הוא רץ רק כשמישהו מבקש בדיקה של דף מסוים, מבקש מספר קטן של כתובות, ולא אוסף תוכן לאימון מודלים.
מחרוזת הזיהוי
Mozilla/5.0 (compatible; MrRobot-SEO-Analyser/1.0; +https://mrrobot.co.il/bot)
עד 25 בקשות לבדיקה
דף אחד, robots.txt, מפת אתר, canonical, גרסאות שפה וקבצי AI - בסך הכול פחות מ-25 בקשות, לא יותר מארבע במקביל לאותו שרת.
קורא בלבד
רק בקשות GET. הסורק לא שולח טפסים, לא מתחבר לחשבונות ולא משנה דבר באתר.
מכבד את robots.txt
כתובות שאינן הדף שביקשתם נבדקות רק אם robots.txt מתיר זאת לסורק שלנו.
לאשר את הסורק
אין צורך לעשות דבר. סורק שלא נחסם במפורש מורשה כברירת מחדל.
לחסום את הסורק
מוסיפים את השורות האלה ל-robots.txt בשורש האתר. הבדיקה תמשיך לעבוד, ותדווח בגלוי שהדף חסום לסורק שלנו.
User-agent: MrRobot-SEO-Analyser
Disallow: /שאלה על הסורק?
אפשר לפנות אלינו בכל עת, ונשמח להסביר בדיוק מה נבדק ולמה.