فایل Robots.txt چیست و چه تاثیری بر سئو دارد؟

آیا تا به حال خواسته اید که مطلبی از وب سایتتان در نتایج سرچ گوگل نمایش داده نشود و یا اینکه برایتان پیش آمده که مطلبی از سایتتان با وجود رعایت تمامی نکات توسط گوگل ایندکس نشده باشد و شما ندانید که چه اتفاقی در حال رخ دادن است؟ در سئوی تکنیکال مبحث ساده اما مهمی وجود دارد به نام فایل Robots.txt که شاید بتواند پاسخ سوالات بالا را بدهد.

برای آگاهی از خدمات پشتیبانی سایت مه ویژن روی لینک زیر کلیک کنید. پشتیبانی سایت

 

قبلتر و در مقالات مختلف به این نکته اشاره کردیم که موتورهای جستجو و در رأس آنها گوگل با استفاده از یک سری ربات (که در واقع خود این ربات ها ابزارهای برنامه نویسی شده ای هستند) تمامی اطلاعات موجود در اینترنت را مورد کاوش قرار می دهند و سپس طی الگوریتم هایی که دارند، نسبت به رتبه بندی این مطالب اقدام می کنند.

اما گاهی در همین فرایند جستجو و کاوش کردن مطالب مشکلات و معضلاتی پیش می آید که لازمه آن داشتن اطلاعات پایه ای و اساسی از سئوی سایت است. یکی از مواردی که در کراول شدن یا خزیده شدن! (کاوش شدن شاید عبارت بهتری باشد) مطالب سایت توسط ربات های گوگل اثرگذار است، یک فایل متنی است موسوم به فایل Robots.txt.

 

 

بدون هیچ مقدمه اضافی به تعریف فایل Robots.txt و تأثیر آن بر سئوی سایت می پردازیم.

 

فایل robots.txt چیست؟

همانطور که اشاره کردیم، از موارد فنی و اصطلاحاً سئوی تکنیکال که برای بهینه کردن ایندکس صفحات سایت به کار می رود، استفاده از فایل robots.txt است. Robots.txt یک فایل متنی است که برای هدایت ربات های موتور جستجو برای نحوه خزیدن و ایندکس صفحات وب سایت استفاده می شود. از آنجا که فایل robots.txt ربات های جستجو را در مورد نحوه خزیدن صفحات مختلف وب سایت شما راهنمایی می کند، دانستن نحوه استفاده و تنظیم این فایل بسیار مهم است. برای جلوگیری از ایندکس شدن صفحات می توان از روش های دیگر مانند تگ noindex استفاده کرد اما زمانی که بخواهید یک دسته از صفحات ایندکس نشوند، نمی توانید برای هر کدام از صفحات به صورت جداگانه از تگ noindex استفاده کنید. در اینجا robots.txt به کمک شما می آید.

اگر یک فایل robots.txt نادرست تنظیم شده باشد، می تواند باعث اشتباه در ایندکس شدن صفحات سایت شود. گاهی اوقات صاحبان سایت ها بعلت نداشتن اطلاعات کافی در این زمینه اشتباهاتی را در ساخت یا ویرایش این فایل متنی رقم می زنند که منجر به خساراتی به سئوی سایت آنها می شود.

 

چه صفحاتی را با فایل robots.txt از دسترس موتورهای جستجو خارج کنیم؟

• صفحاتی که محتوای تکراری (duplicate content) دارند 
• تگ ها و برچسب هایی که باعث ایجاد محتوای تکراری و یا اضافه در سایت می شوند
• فیلتربندی صفحات محصول که شامل فیلتر های قیمت، رنگ و ... می شوند
• صفحاتی که با سرچ کردن در خود سایت ایجاد می شوند (در صورتی که صفحات اصلی و مهم شما توسط کاربران در سایت سرچ نشود)
• تمامی صفحات ادمین و پنل سایت
• صفحه پروفایل کاربران سایت
• صفحات چت آنلاین
• برخی از فایل های قالب که نیازی به دیده شدن توسط گوگل ندارند

 

 

 

ساخت یا ویرایش فایل robots.txt

همانطور که گفتیم فایده اصلی فایل های Robots.txt این است که متخصصان سئو را قادر می سازد تا از ایندکس شدن چندین صفحه به طور همزمان و بدون نیاز به دسترسی به کدهای هر صفحه، جلوگیری کنند. استفاده از robots.txt برای جلوگیری از ایندکس شدن کافیست یک فایل متنی درست کنید و از دستور زیر استفاده کنید.

 

در هر فایل robots.txt از سه دستور اصلی استفاده می شود که موارد زیر هستند:

1- دستور User-agent

در ابتدای فایل robots.txt و قبل از نوشتن هر دستوری باید دستور User-agent نوشته شوند. این دستور نشان می دهد که شما کدام یک از ربات های خزنده در وب را هدف قرار گرفته اید تا به آن دستور بدهید. پس از نوشتن عبارت User-agent و قرار دادن دو نقطه در جلوی آن، نام رباتی که می خواهید به آن دستور بدهید را می نویسید. به عنوان مثال زمانی که بخواهیم به ربات گوگل دستور بدهیم از عبارت User-agent: googlebot استفاده می کنیم.

اگر بخواهیم تمامی ربات های خزنده همه موتورهای جستجو را هدف قرار دهید کافی است یک * در جلوی دستور User-agent قرار دهیم. (به صورت * :User-agent نوشته می شود)

 

2- دستورات Allow و Disallow

پس از مشخص کردن ربات هدف باید دستورات لازم را به آنها بدهید. در این دستورات به ربات ها می گویید که کدام یک از صفحات شما اجازه ایندکس شدن دارند یا ندارند. برای اجازه دادن به خزش توسط ربات مورد نظر از دستور Allow و برای جلوگیری از خزش از دستور Disallow استفاده می شود.

پس از نوشتن یکی از این دو دستور و قرار دادن دو نقطه «:» در جلوی آن، باید صفحه و یا دسته صفحاتی که قصد اعمال کردن دستور به آنها را دارید، وارد می کنید. برای وارد کردن این بخش نیازی نیست کل آدرس یا همان url صفحه را تایپ کنید. فقط از قسمت / به بعد وارد را کرده و دامنه را وارد نکنید.

به عنوان اگر صفحات ادمین سایت شما همگی با پارامتر admin در url مشخص شده اند یعنی به صورت example.com/admin هستند، برای جلوگیری از ایندکس شدن صفحات ادمین از دستور زیر استفاده می کنیم:

User-agent: *
Disallow: /admin/

 

3- ثبت سایت مپ (Sitemap) در فایل robots.txt

این دستور کاملا اختیاری است اما پیشنهاد می کنیم که حتما این کار را انجام دهید. با تعیین دستور مربوط به نقشه سایت در robots.txt می‌ توانید به موتورهای جستجو بفهمانید که فایل XML نقشه سایت شما را از چه مسیری پیدا کرده و به آن دسترسی داشته باشند. اگرچه برای ثبت کردن نقشه سایت در موتورهای جستجو راه های دیگری نیز وجود دارد، ولی این راه یکی از روش‌های ساده و کم دردسر برای این مسئله است. کافیست کد دستوری زیر را در فایل robots.txt اضافه کنید:

Sitemap: https://example.com/sitemap.xml

در پایان تمامی موارد و دسته صفحات مورد نیاز را طبق دستور های گفته شده در یک فایل متنی با نام robots.txt  ذخیره کنید و در سایت آپلود کنید.

 

 

نکاتی درباره فایل robots.txt

• همواره فایل robots.txt خود را بررسی و تست کنید تا مطمئن شوید بخش مهمی از سایت شما از طریق آن مسدود نشده باشد.

• فایل‌ها و پوشه‌های مهم CSS و JS را مسدود نکنید. فراموش نکنید که ربات‌های گوگل درست از نگاه یک کاربر یک سایت را بررسی و ایندکس می‌کنند. در نتیجه اگر برخی از فایل‌های CSS و JS و دیگر فایل‌های مشابه را بلاک کنید، ممکن است سایت شما به صورت مناسب بارگذاری نشود و این مسئله نیز می‌تواند باعث ایجاد خطا شده و در ایندکس شدن دیگر صفحات سایت شما تأثیر منفی بگذارد.
• سعی کنید دستورات خاص زیادی برای ربات‌های خاص تعیین نکنید. پیشنهاد می‌شود اگر دستور خاصی دارید آن را با کمک کد User-agent: * روی همگی ربات‌ها اعمال کنید.
• اگر مایل هستید که تنها تعداد محدودی از صفحات سایت شما در موتورهای جستجو ایندکس نشوند، پیشنهاد می‌کنیم به جای تغییر در فایل robots.txt از تگ ‌noindex در هدر صفحه موردنظر استفاده کنید.