تنظیمات robots.txt

برای مدیریت تنظیمات robots.txt، به Configuration → Settings → General settings بروید.

این صفحه امکان پیکربندی چند فروشگاهی را فراهم می‌کند؛ به این معنی که می‌توان همان تنظیمات را برای همه فروشگاه‌ها تعریف کرد یا برای هر فروشگاه متفاوت باشد. اگر می‌خواهید تنظیمات را برای یک فروشگاه خاص مدیریت کنید، نام آن را از لیست کشویی پیکربندی چند فروشگاهی انتخاب کنید و تمام کادرهای مورد نیاز را در سمت چپ انتخاب کنید تا مقادیر سفارشی برای آن‌ها تنظیم شود. برای جزئیات بیشتر، به چند فروشگاهی مراجعه کنید.

robots.txt

فایل robots.txt به ربات‌های موتورهای جستجو می‌گوید که کدام URLها را می‌توانند در سایت شما دسترسی داشته باشند. این فایل عمدتاً برای جلوگیری از بارگذاری بیش از حد سایت شما با درخواست‌ها استفاده می‌شود؛ این یک مکانیزم برای خارج کردن یک صفحه وب از گوگل نیست. برای خارج کردن یک صفحه وب از گوگل، از noindex برای مسدود کردن ایندکس‌گذاری استفاده کنید یا صفحه را با رمز عبور محافظت کنید.

تنظیمات robots.txt را به صورت زیر تعریف کنید:

• اجازه دسترسی به sitemap.xml - برای اجازه دسترسی ربات‌ها به فایل sitemap.xml تیک بزنید.
• مسدود کردن زبان‌ها - لیست زبان‌هایی که باید مسدود شوند. اگر نمی‌خواهید زبان‌های خاصی را برای ربات‌ها محدود کنید، این فیلد را خالی بگذارید.
• مسدود کردن مسیرها - لیست مسیرهایی که باید مسدود شوند.
• مسیرهای قابل بومی‌سازی مسدود شده - لیست مسیرهای قابل بومی‌سازی که باید مسدود شوند.
• قوانین اضافی - قوانین اضافی برای فایل robots.txt وارد کنید. قوانین دستورالعمل‌هایی برای ربات‌ها هستند که مشخص می‌کنند کدام بخش‌های سایت شما را می‌توانند کرال کنند. برای توضیحات کامل هر قانون، این صفحه را درباره تفسیر گوگل از مشخصات robots.txt بخوانید.