عناكب محركات البحث و ملف Robots.txt - منتدى ليالي

**Admin** · 23-12-2007, 01:04 PM

عناكب محركات البحث و ملف Robots.txt

عناكب محركات البحث تقوم في العادة بالبحث عن ملف خاص في موقعك يدعى robots.txt و هو عبارة عن ملف نصي عادي بامتداد .txt يمكنك تحريره بأي محرر نصي مثل notepad .. و هذا الملف يمكننا تشبيهه بباب الموقع بالنسبة لعناكب محركات البحث spiders ..

تخيل أنه لديك معرض و سيأتيك الزوار. يمكنك ان تضع حارسا في الباب يسمح بدخول الجميع أو البعض و يقوم بتوجيههم لزيارة كامل المعرض أو غرفة معينة .. هذه نفس الحالة بالنسبة لملف robots.txt فهو يقوم بتوجيه عناكب البحث إلى أماكن معينة و يتحكم فيها و سنستعرض في هذا الموضوع هذه الأشياء.

في البداية يجب أن ترفع ملف robots.txt في المجلد الرئيسي للموقع root أو www أو home أو public_html كل حسب سيرفره و يمكنكم معاينة ملف robots الخاص بموقع ماكسي سيو :
http://www.liali.net/robots.txt

الآن قم بفتح ملف نصي جديد باستعمال notepad و قم بتسميته robots.txt و اختر الكود الذي يناسبك :

كود:

User-agent: *
Disallow:

user-agent هو العميل أي عنكبوت محرك بحث معين .. إذا رغبت في السماح لجميع عناكب محركات البحث بالدخول إلى موقعك أكتب النجمة " * " اي جميع العناكب. Disallow: تستعمل لحجب مجلدات خاصة لا تريدها أن تظهر في نتائج البحث إذا تركتها فارغة فمعناه أنك لم تقم بمنع أي شيء و بالتالي كل شيء مسموح لأرشفته.

--------------------------------------------

كود:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /sql/

هذا الكود للسماح لجميع عناكب البحث بالدخول إلى موقعي ما عدى مجلدات cgi-bin و tmp و sql.

-------------------------------------------

كود:

User-agent: XBot Disallow: /

في هذه الحالة XBot اي عنكبوت محرك بحث " X" لا يمكنه مشاهدة اي شيء في الموقع. بوضعك لـ : / اختصار لجميع المجلدات.

-----------------------------------------

User-agent: XBot
Disallow: /

User-agent: *
Disallow: /private/

الفراغ الذي قمنا به بين user-agent الأولى و الثانية هو للإشارة إلى أنن سنضع أمرا جديد لعناكب البحث و بالتالي يمكنك حجب عنكبوت معين من مشاهدة موقعك في الأمر الأول و السماح لبقية عناكب محركات البحث * بأرشفة موقعك ما عدى ملف private.

--------------------

بعض الأخطاء الشائعة في ملف robots.txt :

كود:

 User-agent: * 
Disallow /

Disallow / ينقصها نقطتان " : "

كود:

User-agent: * Disallow: *

إذا أردت منع ارشفة كل شيء استعمل " / "

كود:

User-agent: *
Disallow: /tmp/

User-agent: Xbot
Disallow: /links/listing.html
Disallow: /tmp/

عناكب البحث تقرأ الملف من الاعلى الى الأسفل لذلك إذا منعت جميع العناكب في السطر الأول من زيارة ملف tmp فلا داعي لوضع الأمر التالي!

bubi · 18-01-2008, 09:08 AM

شكرا ليك يا غالى على الموضوع الجامد ده

أدوات الموضوع
مشاهدة صفحة طباعة الموضوع أرسل هذا الموضوع إلى صديق
انواع عرض الموضوع
العرض العادي الانتقال إلى العرض المتطور الانتقال إلى العرض الشجري

المواضيع المتشابهه
الموضوع	كاتب الموضوع	المنتدى	مشاركات	آخر مشاركة
جميع روابط لإضافة موقعك في محركات البحث	Admin	تقنية محركات البحث والـSearch Engine Optimization	2	18-01-2008 08:54 AM
حصريا : النصائح الذهبية لتحسين نتائج محركات البحث !!	Admin	تقنية محركات البحث والـSearch Engine Optimization	2	18-01-2008 08:52 AM
تعديل على هاك كاش الصور ليناسب محركات البحث	Admin	تقنية محركات البحث والـSearch Engine Optimization	0	11-11-2007 08:00 PM
.::][][ كيف تنشر موقعك فى محركات البحث العالمية ( مهم جدا ) ][][::..	COCO5666	ليالى التطوير العام للمواقع والمنتديات	4	25-10-2007 03:37 AM
أقوى محركات البحث - كل شي ببالك	black horse	منتدى ليالي التكنولوجي	1	27-08-2007 10:06 PM