معلومات عن الزاحف
CiteluraBot
CiteluraBot هو الزاحف الذي تعتمد عليه تدقيقات سايتلورا. يقرأ الصفحات العامة ليفحص تقنيات السيو ومدى جاهزية الموقع لمحركات الإجابة بالذكاء الاصطناعي.
التدقيق المباشر غير مفعّل بعد، لذلك لا يزحف CiteluraBot إلى أي موقع في الوقت الحالي.
من يشغّله
يشغّل سايتلورا الزاحف CiteluraBot. يعمل فقط عندما يطلب أحدهم تدقيق موقع عبر سايتلورا، ويعرّف بنفسه في كل طلب.
كيف يعرّف بنفسه
يحمل كل طلب وكيل المستخدم هذا. العنوان بين القوسين هو عنوان هذا الموقع.
CiteluraBot/0.1 (+https://citelura.com/bot; SEO and AI answer-engine readiness audit; respects robots.txt)
ماذا يقرأ
- ملف robots.txt أولًا، في كل موقع يزوره.
- خريطة الموقع، إن وُجدت.
- عددًا صغيرًا ومحدودًا من الصفحات العامة في الموقع نفسه: حتى 11 صفحة في التدقيق المجاني، ولا يتجاوز 50 صفحة في أي باقة.
حدوده
- حتى 3 عمليات إعادة توجيه لكل طلب، ويُفحص كل منها من جديد.
- صفحات حتى 2048 كيلوبايت، وملف robots.txt حتى 500 كيلوبايت.
- 10 ثوانٍ لكل طلب و25 ثانية في المجموع لكل صفحة.
- الحد الأقصى للطلبات المتزامنة: 2.
ما لا يفعله أبدًا
- الاتصال بعناوين خاصة أو داخلية أو غير عامة.
- تسجيل الدخول أو تعبئة النماذج أو قبول ملفات تعريف الارتباط.
- اتباع الروابط إلى مواقع أخرى.
- تخزين HTML الخام للصفحات. تُحلَّل الصفحات في الذاكرة فقط.
كيف تمنعه
أضف هذا إلى ملف robots.txt في جذر موقعك. يقرأ CiteluraBot ملف robots.txt قبل أن يجلب أي شيء آخر، ولا يزحف إلى موقع لا يستطيع قراءة ملفه.
مقتطف robots.txt
User-agent: CiteluraBot Disallow: /
التواصل
أسئلة، أو مشكلة في المنع؟ راسلنا على bot@citelura.com.