article

نحوه استفاده از فایل robots.txt در سایت

web-seo-robots-txt

از زمان شکل گیری ابزار ارتباطی نوین به نام اینترنت یا شبکه جهانی، قوانین و قواعدی نیز به همراه آن وضع شد که در بحث بهینه سازی سایت یا سئو (Search Engine Optimization) واضعان آن قواعد و قوانین، عمدتا موتورهای جستجوگر معروفی چون گوگل (google)، بینگ (bing)، یاهو (yahoo) و... بوده اند، بدین ترتیب با هم اندیشی توسعه دهنده گان وب و مهندسین این شرکت ها، به تدریج استانداردها و قواعدی برای مدیران سایت ها تدوین شد که یکی از این قواعد، کنترل رفتار ربات های خزنده (bots) موتورهای جستجو به وسلیه ایجاد و تنظیم فایلی به نام robots.txt در ریشه سایت است؛ بدین وسیله می توان تا حدودی رفتار ربات ها را در نحوه جستجو و ایندکس صفحات مدیریت کرد، در ادامه به چگونگی انجام این کار و همچنین بایدها و نبایدهای استفاده از این امکان اشاره خواهیم کرد.

فایل robots.txt چیست؟


فایل robots.txt یک فایل متنی ساده است که می توان آن را با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه سایت قرار می گیرد (یعنی به طور مستقیم در فولدر wwwroot یا همان public_html و در بالاترین سطح) به طوری که اگر بعد از آدرس سایت، عبارت robots.txt را تایپ کنیم، این فایل در دسترس باشد:
http://www.example.com/robots.txt
از فایل robots.txt برای مواردی استفاده می شود که نمی خواهیم صفحاتی از سایتمان توسط موتورهای جستجو (ربات های خزنده) بررسی و ایندکس شود، یا ممکن است قبلا این کار صورت گرفته باشد و اکنون می خواهیم آن صفحات را به هر دلیل حذف کنیم، البته استفاده از فایل robots.txt برای حذف لینک ها از نتایج موتورهای جستجو، تنها یک پیش شرط است (شرط لازم است نه کافی!) و برای تکمیل کار، شاید ناچار باشید به ابزار وبمستر سایت هایی مثل گوگل در آدرس:
https://www.google.com/webmasters/tools
و بینگ در آدرس:
http://www.bing.com/toolbox/webmaster
مراجعه کنید.
با این تفاسیر استفاده از این فایل همیشه هم ضروری نیست و همانطور که گفتیم، در موارد مسدود کردن دسترسی ربات ها به صفحات خاص (لینک های خاص) کاربرد دارد، اما به دلیل اینکه اکثر ربات های جستجوگر همواره این فایل را از سرور شما درخواست می کنند، بهتر است برای اجتناب از افزایش خطاهای 404 که در بخش log ها و آمار سایت جلوه خوبی ندارند، حتی شده یک فایل خالی با این نام در ریشه سایت خود قرار دهید.

نحوه تنظیم فایل robots.txt


یک فایل robots.txt معمولا از دو قانون ساده پیروی می کند، User-agent یا واسط کاربری (نوع خزنده یا ربات) و Disallow یا لینکی که دسترسی به آن را مسدود (یا مجاز) می کنیم؛ علاوه بر این، به یاد داشته باشید که در ابتدای آدرس دایرکتوری ها، باید از یک اسلش (/) نیز استفاده شود و در استفاده از حروف بزرگ یا کوچک نیز دقت کنید (به فرض دایرکتوری Image در مقایسه با image از دید ربات ها، معمولا دو آدرس متفاوت هستند).
به طور مثال اگر در فایل خود کد زیر را قرار دهیم:
User-agent: *
Disallow: /image/
ربات ها با پیروی از این قانون، دیگر محتوای فولدر image را بررسی نکرده و در نتایج جستجو آن را نمایش نمی دهند، هنگامی که از علامت * برای واسط کاربری استفاده می کنیم، در واقع منظور ما تمام ربات ها هستند، البته ذکر این نکته لازم است که تنها خزنده های برخی سایت ها و شرکت های معروف و معتبر به این قوانین احترام می گذارند و در مقابل برخی حتی برای ارسال اسپم یا نفوذ به صفحات حساس سایت ها، از این فایل، سوء استفاده نیز می کنند، لذا این نکته دارای اهمیت زیادی است که هیچ گاه برای محافظت از دایرکتوری های حساس، مانند دایرکتوری مدیریت سایت، به این فایل بسنده نکنید (بلکه یک سیستم ورود و خروج مطمئن برای آن در نظر بگیرید) و بهتر است آدرس دایرکتوری مدیریت را نیز در آن قرار ندهید، بهترین روش برای جلوگیری از ایندکس شدن دایرکتوری های حساس، این است که هیچ لینک خروجی و در معرض دید و دسترس ربات در صفحات خود نداشته باشید و از طرف دیگر دسترسی به محتوای این نوع صفحات را با ایجاد سیستم دریافت نام کاربری و کلمه عبور، محدود کنید.

چند مثال از نحوه استفاده از فایل robots.txt


برای آشنایی بیشتر و کاربردی تر، در زیر چند مثال با تنظیمات متفاوت را آورده ایم.
استفاده از فایل robots.txt و مسدود کردن یک فولدر برای تمام ربات ها:
User-agent: *
Disallow: /old-posts/
استفاده از فایل robots.txt و مسدود کردن یک فایل برای تمام ربات ها:
User-agent: *
Disallow: /old-posts/mypic.jpg
استفاده از فایل robots.txt و مسدود کردن یک فایل در ریشه سایت برای تمام ربات ها:
User-agent: *
Disallow: /private.html
استفاده از فایل robots.txt و مسدود کردن یک فولدر برای یک ربات خاص:
User-agent: Googlebot
Disallow: /personal/
برای دیدن لیست کامل واسط های کاربری (User-agent) می توانید به دیتابیس موجود در آدرس زیر مراجعه کنید:
http://www.robotstxt.org/db
مسدود بودن تمام صفحات برای تمام ربات ها:
User-agent: *
Disallow: /
مجاز بودن تمام صفحات برای تمام ربات ها:
User-agent: *
Allow: /

تنظیم فایل robots.txt با استفاده از الگو یا Pattern


علاوه بر ایجاد تنظیمات معمولی، برخی ربات ها (از جمله ربات گوگل) از قوانین پیچیده تری نیز پشتیبانی می کنند، این قوانین بی شباهت به عبارات با قاعده یا Regular Expressions نیستند، با این تفاوت که در اینجا فقط از چند علامت خاص (* ? $) استفاده می شود.
- برای تطبیق توالی از عبارات، از علامت * استفاده می شود، به طور مثال اگر ما چند دایرکتوری داشته باشیم که با عبارت فرضی book شروع شده باشند و بخواهیم با یک دستور، دسترسی ربات را به تمام آنها مسدود کنیم، خواهیم نوشت:
User-agent: Googlebot
Disallow: /book*/
به این ترتیب فولدرهای فرضی booksell، bookread، bookiran و... برای ربات مسدود خواهند شد، لذا همان طور که ملاحظه می کنید، نقش علامت * این است که در واقع عبارات بعد از آن در تطبیق نادیده گرفته می شوند.
- برای مسدود کردن لینک های داینامیک از علامت ? و * استفاده می کنیم، به فرض دستور زیر تمام لینک های داینامیک را برای ربات غیر قابل دسترس می کند:
User-agent: *
Disallow: /*?
همچنین می توان برای ساب دایرکتوری ها (دایرکتوری های زیر مجموعه) نیز این قابلیت را ایجاد کرد و از این نظر هیچ محدودیتی نیست:
User-agent: *
Disallow: /articles/*?
- برای مشخص کردن دقیق انتهای یک الگو، از علامت $ استفاده می شود، به فرض اگر قصد ما مسدود کردن تمام فایل های با پسوند png برای ربات باشد، خواهیم نوشت:
User-agent: * 
Disallow: /*.png$
به این ترتیب، تمام فایل هایی که به پسوند png ختم شده باشند، برای ربات مسدود می شوند.

استفاده ترکیبی از قوانین در فایل robots.txt


تنظیمات فایل robots.txt به موارد گفته شده محدود نمی شود، شما می توانید برای یک واسط کاربری، چندین و چند آدرس یا دایرکتوری مجاز یا غیر مجاز تعریف کنید، یا با قوانین پیچیده، دستورات پیچیده تری ایجاد نمائید، به فرض در برخی سایت ها ممکن است مقادیر id سشن (session یا نشست) به عنوان بخشی از آدرس صفحه به صورت رندوم در لینک ها قرار داده شود (این موضوع یک اشکال در سئو محسوب شده زیرا موجب بروز مطالب تکراری با لینک های متفاوت می گردد) و در مقابل برخی آدرس ها نیز علامت ? را به طور طبیعی داشته باشند، در اینگونه موارد اگر بخواهیم به ربات بگوییم که به عبارات بعد از علامت ? در لینک های دارای سشن id توجه نکند، ولی لینک هایی را که به علامت ? (بدون وجود کاراکتری بعد از علامت ?) ختم می شوند، ایندکس کند، در یک فایل robots.txt خواهیم نوشت:
User-agent: *
Allow: /*?$
Disallow: /*?
به این ترتیب قانون اول اجازه ایندکس تمام آدرس هایی را که نهایتا به علامت ? ختم می شوند می دهد (علامت $ نشان دهنده پایان یک الگو است)، اما قانون دوم باعث نادیده گرفتن سشن id در لینک های داینامیک سایت می شود (در واقع وقتی از علامت $ در انتهای الگو استفاده نمی شود، یعنی هر عبارتی بعد از علامت ? بیاید، شامل آن الگو می شود).  
یا به فرض اگر بخواهیم چند لینک مختلف را در یک دستور مسدود کنیم، خواهیم نوشت:
User-agent: *
Disallow: /articles/22.html
Disallow: /articles/23.html
Disallow: /articles/?post=159&title=آموزش-برنامه-نویسی-وب

افزودن نقشه سایت به فایل robots.txt


علاوه بر مجاز و مسدود کردن لینک ها، دایرکتوری ها و فایل ها، فایل robots.txt یک قابلیت دیگر نیز دارد، از طریق این فایل می توانید نقشه xml سایت خود را به تمام ربات های خزنده معرفی کنید، برای انجام این کار کافی است با یک فاصله، آدرس کامل نقشه سایت خود را وارد نمائید، به فرض:
User-agent: *
Disallow: /articles/22.html
Disallow: /articles/23.html
Disallow: /articles/?post=159&title=آموزش-برنامه-نویسی-وب

Sitemap: https://webgoo.ir/sitemap.xml

سایر روش های مسدود سازی لینک ها برای ربات جستجوگر


در پایان این مطلب، بد نیست اشاره ای نیز داشته باشیم به سایر روش های مسدود سازی لینک ها و صفحات، بر روی ربات های جستجوگر، علاوه بر استفاده از فایل robots.txt جهت کنترل رفتار خزنده های با اصل و نسب وب، دو روش دیگر نیز برای این کار وجود دارد، روش اول استفاده از متاتگ noindex است که در قسمت head صفحه قرار می گیرد، به فرض:
<meta name="robots" content="noindex" />
یا
<meta name="googlebot" content="noindex" />
روش دوم نیز ارسال یک سربرگ HTTP برای ربات ها در هنگامی که صفحه را درخواست می کنند است، انجام این کار در php با استفاده از توابع header و به شکل زیر صورت می گیرد:
header("X-Robots-Tag: noindex", true);
یا
header("X-Robots-Tag: noindex, nofollow", true);
sectionدسته بندی: مهارتهای وب » بهینه سازی
related مطالب بیشتر:
» حل مشکل محتوای تکراری (Duplicate Content) در سایت
» چگونه سایت یا وبلاگ را برای موتورهای جستجو بهینه سازی کنیم؟
» مشکلات رایج در کدنویسی معتبر و رفع آنها
» دوباره نویسی آدرس های اینترنتی (URL Rewrite) در htaccess
» مقایسه خطای 404 و کد 301 ریدایرکت (Redirect)
commentنظرات (۸۴ یادداشت برای این مطلب ارسال شده است)
more یادداشت های جدید بر اساس تاریخ ارسال در انتهای یادداشت های موجود نمایش داده می شوند.
نویسنده: محمد
۲۱:۵۸ ۱۳۹۱/۰۶/۱۴
سلام. ممنون از مطلب مفیدتون.
سوالی داشتم آیا نمیشه کاری کرد گوگل این فایل را نخونه؟
سرویس میهن بلاگ خودکار این فایل رو درست کرده و داره بشدت به ما ضربه میزنه نگاه کنید اینجا را:
http://www.full-dl.com/robots.txt
پاسخ: 
سلام
متاسفانه در مورد این مشکل نمی توان کار خاصی انجام داد، کنترل سرور باید در اختیار شما باشد تا بتوانید تنظیمات این فایل را تغییر دهید که در سیستم های وبلاگی اینگونه نیست، اما ظاهرا این فایل نباید مشکل خاصی پیش بیاورد، لینک های فعلی سایت شما ایندکس می شوند و توسط این فایل مسدود نشده اند، تنها آدرس هایی که در سیستم پیش فرض میهن بلاگ کاربردی ندارند، مسدود شده اند.
نویسنده: محمد
۱۲:۳۱ ۱۳۹۱/۰۶/۱۵
با تشکر از شما. بله متوجه شدیم که مشکل از خود فایل نیست بلکه سرویس میهن بلاگ به دلایل نامعلوم اجازه دسترسی به این فایل رو به ربات گوگل چند روزی نداده. نمیدونم یا فایروال یا خود صاحبان سرور !!!!!!!!!!
حالا چون به این فایل اجازه دسترسی نیست، گوگل سایت را از دسترس خارج کرده. !!!!!
پاسخ: 
با بررسی که انجام دادیم، این فایل برای ربات گوگل مسدود نیست و حتی در صورت مسدود بودن هم نمی تواند باعث بروز مشکل شود؛ احتمالا حذف سایت شما از لیست گوگل دلیل دیگری دارد، مهم ترین مورد می تواند وجود لینک های متفاوت ولی با محتوای یکسان باشد، چون مطالب شما هم با آدرس میهن بلاگ و هم بودن آن قابل دسترس است؛ این مطلب شاید در تشریح مشکل کمک کند:
حل مشکل مطالب تکراری (duplicate content) در سایت
نویسنده: محمد
۱۳:۴۳ ۱۳۹۱/۰۶/۱۵
اما این متنی است که گوگل برای ما فرستاده :
http://www.full-dl.com/: Googlebot can't access your site
Over the last 24 hours, Googlebot encountered 13 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 100.0%.

Recommended action
If the site error rate is 100%:

Using a web browser, attempt to access http://www.full-dl.com//robots.txt. If you are able to access it from your browser, then your site may be configured to deny access to googlebot. Check the configuration of your firewall and site to ensure that you are not denying access to googlebot.
If your robots.txt is a static page, verify that your web service has proper permissions to access the file.
If your robots.txt is dynamically generated, verify that the scripts that generate the robots.txt are properly configured and have permission to run. Check the logs for your website to see if your scripts are failing, and if so attempt to diagnose the cause of the failure.

If the site error rate is less than 100%:

Using Webmaster Tools, find a day with a high error rate and examine the logs for your web server for that day. Look for errors accessing robots.txt in the logs for that day and fix the causes of those errors.
The most likely explanation is that your site is overloaded. Contact your hosting provider and discuss reconfiguring your web server or adding more resources to your website.
پاسخ: 
این مشکل می تواند چند دلیل داشته باشد، شاید به بلاک شدن IP های گوگل توسط فایروال سرور یا مشکل DNS دامنه مربوط شود، برای بررسی، بهتر است در سرویس وبمستر گوگل وضعیت سلامت سایت را چک کنید یا در بخش Fetch as Google آدرس فایل robots.txt را امتحان کنید.
نکته: یک اسلش (/) اضافه هم در آدرس فایل دیده می شود؟!
اگر این فایل بلاک شده باشد، پیشنهاد می کنیم با پشتیبانی میهن بلاگ موضوع را مطرح کنید.
نویسنده: محمد
۱۶:۳۸ ۱۳۹۱/۰۶/۱۵
متشکرم که با حوصله وقت گذاشتین و پاسخگو بودین.
در وب مستر تولز چک کردم :Unreachable
به پشتیبانی بلاگم ایمیل زدم منتظر پاسخ اونا هستم.
بازم تشکر
پاسخ: 
خواهش می کنیم، امیدواریم که مشکل هر چه زودتر حل شود.
نویسنده: حسین
۰۰:۴۲ ۱۳۹۱/۰۹/۱۰
سلام اگه ما Disallow ها رو نوشتیم بقیه فایل و پوشه ها که در Disallow ننوشته به طور خودکار allow میشن ؟ یا نه اونا رو تک تک باید allow تعریف کنیم براشون؟ ممنون
پاسخ: 
سلام
بله، استفاده از Allow اختیاری است و به صورت پیش فرض هر فایل یا دایرکتوری که Disallow نباشد Allow است، البته الزاما این به معنی پیدا شدن و ایندکس شدن آن دایرکتوری یا فایل نیست، بلکه باید لینکی نیز در وبسایت شما به آن فایل یا دایرکتوری ارجاع داده باشد.
۱۰:۰۸ ۱۳۹۱/۱۰/۱۹
سلام
اگر بخواهيم اجازه دسترسي به همه فايلها را به گوگل بدهيم بايد يك فايل متني خالي با نام robots ايجاد كرده و در سايت قرار دهيم؟
وجود اين فايل بهتر است يا نبود آن؟
پاسخ: 
سلام
بهتر است یک فایل ایجاد کنید و کد زیر را در آن قرار دهید:
User-agent: *
Allow: /
هر چند فایل خالی باشد هم در عمل تفاوتی نیست.
اگر فایل وجود داشته باشد بهتر است، چون ربات های جستجوگر به دفعات، وجود این فایل در سرور را بررسی می کنند و اگر وجود نداشته باشد، خطاهای 404 در log سرور بی مورد ثبت می شوند، ضمن اینکه اگر در ابزارهای وبمستر گوگل یا bing مایکروسافت عضو باشید، به احتمال زیاد، پیام هشدار به این خاطر دریافت خواهید کرد.
نویسنده: Mousa
۱۰:۳۶ ۱۳۹۱/۱۱/۰۸
با سلام و خسته نباشید.
مطلب خیلی خوبی بود. چند وقتی بود که با این فایل robots درگیر بودم. مرسی
نویسنده: رضا
۱۵:۳۱ ۱۳۹۱/۱۲/۰۷
با سلام و خسته نباشید.
مطلب خیلی خوبی بود.
یعنی با استفاده از این کد میتوان ان را از همه جستجوگرها پنهان کرد؟
پاسخ: 
سلام
از جسجوگرهای استاندارد (که از دستورات فایل robot.txt پیروی می کنند) و با رعایت سایر نکاتی که در آموزش عنوان شده.
نویسنده: رضایی
۰۲:۱۸ ۱۳۹۲/۰۱/۲۳
با سلام و خسته نباشید
یک سوال داشتم
من مثلآ سایتم
www.site.com
است و یک سایت دیگه طراحی کردم و تو پوشه test ریختم یعنی وقتی آدرس
www.site.com/test
رو میزنم سایت جدید میاد بالا
حالا میخام که در پوشه test موقتآ صفحات و لینکهای داخل صفحات در گوگل ایندکس نشود در فایل روبوت چه باید بنویسم و محل قرار گیریش در کجای هاست باید باشد. ممنون میشم یه راهنمایی بفرمایید
با تشکر از سایت مفیدتون
رضایی
پاسخ: 
سلام
همان طور که در آموزش توضیح داده شده، کافی است بنویسید:
User-agent: *
Disallow: /test/
، فایل robots.txt را هم در ریشه سایت اصلی قرار دهید، البته تا زمانی که از سایت جدید آدرسی در دسترس ربات ها نباشد (لینکی در صفحات قابل دسترس فعلی به سایت جدید نباشد)، آنها این دایرکتوری را ایندکس نمی کنند.
نویسنده: مهدی
۱۱:۴۴ ۱۳۹۲/۰۱/۲۹
باسلام. ممنون از اطلاعات دقیق شما. سوالی داشتم سایتی که راه اندازی کردم مدتی است با نوشتن این متن
((به دلیل robots.txt این سایت، توضیحی برای این نتیجه وجود ندارد)) متاسفانه سایت بالا نمیاد یا صفحه باز نمیشه ممنون میشم که راه حل این مسئله رو بدونم منتظر جواب هستم
پاسخ: 
سلام
اگر برای راه اندازی سایت از CMS (مانند وردپرس، جوملا و...) استفاده کرده اید، در درجه اول باید به انجمن آن مراجعه کنید، چون این نوع مشکلات ممکن است به موارد دیگری نیز ارتباط داشته باشد، اما با فرض اینکه از وردپرس استفاده می کنید، ابتدا یک پشتیبان از فایل robots.txt فعلی تهیه کنید و سپس محتویات آن را به حالت پیش فرض تغییر دهید، حالت پیش فرض:
Sitemap: http://www.example.com/sitemap.xml

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

# digg mirror
User-agent: duggmirror
Disallow: /

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/
اگر مشکل حل نشد، ممکن است مسئله از مورد دیگری باشد.
نویسنده: مهدی
۱۸:۲۷ ۱۳۹۲/۰۱/۲۹
چگون میتونم پشتیبان تهیه کنم؟عذر میخوام اگه میشه جواب بدین
پاسخ: 
وارد پنل هاست خود شوید و در ریشه سایت، فایل robots.txt فعلی را دانلود کنید (و در یکی از درایوهای کامپوتر خود جهت استفاده های بعدی ذخیره کنید)، سپس فایل جدیدی که ساخته اید را جایگزین آن نمائید.
نویسنده: سامان
۱۱:۰۶ ۱۳۹۲/۰۲/۱۳
سلام
خسته نباشید
یه سوال:
من سایتم رو گوگل سرچ کردم به زور یه دونه میاره ، اونم نوشته "به دلیل robots.txt این سایت، توضیحی برای این نتیجه وجود ندارد – بیشتر بیاموزید."
باید چکار کنم؟
اصلا فایل روبات robots.txt در هاست وجود نداره که درستش کنم! این فایل کجا است؟
ممنون کمکم کنید
پاسخ: 
سلام
فایل robots.txt در ریشه سایت (فولدر www یا public_html) وجود دارد، یعنی برای سایت شما به صورت زیر قابل دسترسی است:
yoursite.ir/robots.txt
با تایپ این آدرس متوجه می شویم که دستور زیر در آن قرار دارد:
User-agent: *
Disallow: /
و این دستور دسترسی ربات خزنده را به تمام دایرکتوری ها ممنوع می کند، برای رفع مشکل، دستور را به شکل زیر تغییر دهید:
User-agent: *
Allow: /
برای کسب اطلاعات بیشتر نیز آموزش را مطالعه کنید.
نویسنده: سامان
۱۸:۴۴ ۱۳۹۲/۰۲/۱۳
سلام دوباره!
خیلی ممنون از قسمت بالا!
ولی اون فایل روبات اصلا نیست من خودم یه دونه ساختم گذاشتم ولی گوگل باز همون یکی اولی رو نشون میده ، فایل منو اصلا خیالش نمیاره
با تشکر
پاسخ: 
سلام
در مورد اینکه فایل نیست، ممکن است به صورت داینامیک ایجاد شود و فایل حقیقی نباشد، به هر صورت خروجی مهم است نه روش ساخت، اما در مورد اینکه گوگل از تنظیمات همان فایل قبلی استفاده می کند، باید مدتی صبر کنید (حداقل سه روز) تا اطلاعات جدید فراخوانی شده و رفتار خزنده بر آن اساس تغییر کند.
نویسنده: behbod
۰۲:۱۲ ۱۳۹۲/۰۲/۲۷
ممنون از مطلب مفیدتون من که خیلی استفاده کردم
فقط یه سوال دارم که اگر جواب بدید ممنون میشم
تفاوت فرمان
User-agent: *
Disallow:
و فرمان
User-agent: *
Allow: /
در چیست؟
پاسخ: 
سلام
همان طور که در آموزش توضیح داده شده، دستور Disallow با واسط کاربری * دسترسی به کل سایت را برای تمام ربات ها غیر مجاز می کند (البته برای ربات هایی که از دستورات فایل robots.txt پیروی می کنند)، اما دستور Allow با واسط کاربری * برعکس، دسترسی به تمام دایرکتوری ها را مجاز می کند.
نویسنده: behbod
۱۹:۴۴ ۱۳۹۲/۰۲/۲۷
ممنون از جواب سریعتون
ولی همونطور که در کد معلومه جلوی دستور Disallow چیزی نیست میخوام بدونم اگر / نباشه بازم دسترسی محدود میشه یا عملکردش مشابه دستور Allow میشه
چون یک سایت رو دیدم در گوگل صفحه اول بود و از این دستور استفاده کرده بود:
User-agent: *
Disallow:
پاسخ: 
بله، با حذف علامت / که به معنی ریشه سایت است، عملکرد Disallow مانند Allow می شود، البته بهتر است از Allow استفاده شود، چون مشخص تر و به هدف از به کاربردن دستور نزدیک تر است.
نکته: در مورد حالت فوق نحوه استفاده از دستورات هیچ تاثیری در رتبه گوگل ندارد.
more لطفا پیش از ارسال یادداشت نکات زیر را مد نظر داشته باشید:
- مواردی که به کلی خارج از موضوع این مطلب هستند را در فرم منوی "تماس با ما" مطرح و پاسخ را از طریق ایمیل دریافت کنید.
- به سوالات کلی، مبهم، غیرضروری و مشکلاتی که تلاشی برای رفع آن نکرده باشید پاسخ کوتاه و مختصر داده خواهد شد!
- کدها و اسکریپت های طولانی را ترجیحا در یک صفحه وب آنلاین قرار دهید تا امکان تست و بررسی وجود داشته باشد.
- تمام یادداشت ها بررسی و برای هر کاربر زمان مشخصی جهت پاسخگویی در نظر گرفته می شود، لطفا از طرح سوالات متعدد در بازه زمانی کوتاه خودداری کنید.





1 × 7
 refresh
آخرین دیدگاه ها
more برای دسترسی سریع به یادداشت مربوطه می توانید از لینک مطلب در کادر زیر استفاده کنید.
form مهسا
در:
سلام و خسته نباشید مشکلی برای وبلاگ من پیش اومده موقع ورود بهم پیام میده وبلاگ داره بروز رسانی میشه و بعدا وارد وبلاگ شوید...
۱۳۹۹/۰۷/۰۸

form Moshtagh
در:
سلام و خسته نباشید بنده چند روزه که وقتی اطلاعات ورود به وبلاگم رو وارد تیترها و کلیک میکنم با چنین پاسخی مواجه میشم...
۱۳۹۹/۰۷/۰۸

form mahtab
در:
سلام خسته نباشین ببخشید چرا بلاگفا باز نمیکنه ؟؟؟ میرم مدیریت وبلاگ نه تو بروز شده ها وبی هستم نه هم که...
۱۳۹۹/۰۷/۰۷

form جواد
در:
سلام و عرض ادب. سایت من هک شده و یک کد ریدایرکت تو دیتابیس هاستم بارگزاری شده که آخر همه پست ها تو...
۱۳۹۹/۰۷/۰۷

form نبی
در:
‏asc و desc رو جابجا نوشتی
۱۳۹۹/۰۷/۰۴

form ساناز محمدی
در:
سلام مرسی از کدی که گذاشتید ♥
۱۳۹۹/۰۷/۰۳

form mahtab
در:
سلام خسته نباشین ببخشید میخواستم بپرسم که چجوری میتونیم یه کلیپ رو از کامپیوتر از انیستا دانلود کنیم ؟؟ اها اینم بگم...
۱۳۹۹/۰۷/۰۲

form سعید
در:
سلام دستتون درد نکنه از پروژه شما استفاده کردم فقط یه مشکل اگه در یک صفحه دو تا لیست کشویی داشته باشیم چطوری...
۱۳۹۹/۰۷/۰۱

form Iman Mafakheri
در:
سلام من یه قالب خارجی اوردم راست چینش کردم حتی فونتشم تغییر دادم اما متاسفانه وقتی متن فارسی مینویسم حروف رو جدا جدا مینویسه نمیدونم...
۱۳۹۹/۰۶/۳۰

form میثم صدیق
در:
سلام برای اضافه کردن یک المان با (append) من یک کلید گذاشتم اضافه میشه ولی با هر بار کلیک کردن اضافه میشود اگر بخواییم یک...
۱۳۹۹/۰۶/۲۹

form amin
در:
سلام و خسته نباشید می خواستم Slash ( / ) رو به صورت اتوماتیک از تمامی URL ها حذف کنم البته با کمک htaccess...
۱۳۹۹/۰۶/۲۵

form محمد
در:
سلام وقت بخیر من یه همچین کدی دارم میشه لطفا راهنمایی کنید مشکلش چیه؟ سپاسگزارم
۱۳۹۹/۰۶/۲۴

form سروش
در:
سلام . من اطلاعات را از دیتابیس دریافت میکنم و در جدول میبینم . میخوام مثلا 6 مورد آخر را در یک ردیف ببینم و...
۱۳۹۹/۰۶/۲۳

form Behdad kanani
در:
سلام اصلا نمی شه اینکارو انجام داد
۱۳۹۹/۰۶/۲۲

form جعفری
در:
سلام قبل از تبدیل تاریخ نوشتید مثلا خب این مقدار تاریخ برای من در دیتابیس در جدولی بنام startedtm بصورت یونیکس...
۱۳۹۹/۰۶/۲۰
form احمد
در:
با عرض سلام و خسته نباشید ببخشید برای فایل دانلودی باید از چه دستوری استفاده کنم فایل با پسوند pdf رو میخوام بزارم اگر امکانش...
۱۳۹۹/۰۶/۲۰
form شیما
در:
سلام آیا وقتی در قسمت وبلاگ دوستان وبلاگی رو ثبت میکنیم صاحب وبلاگ با استفاده از برنامه های خاصی میتونه متوجه بشه ؟
۱۳۹۹/۰۶/۱۹
form mahtab
در:
سلام خسته نباشین من نمیدونم چرا مدیریت وبم برام باز میشه اما وقتی میزنم مشاهده وب رو میزنم نمیاره واسم فقط امیدوارم هک...
۱۳۹۹/۰۶/۱۸
form ساناز محمدی
در:
سلام دوباره این ساب دامین بنده هست اگر یکی از مطالب را مشاهده کنید هر محصولی که ارسال شده داخل از طریق مدیریت یک...
۱۳۹۹/۰۶/۱۷
form محسن
در:
سلام و عرض ادب مجدد کد زیر هم کار نمیکنه مشکل چی میتونه باشه ؟!
۱۳۹۹/۰۶/۱۶
form ساناز محمدي
در:
سلام بنده یه ساب دامین دارم با دامنه شخصی حالا داخل این ساب دامین طرف آدرس سایت خودش رو داخل ساب دامین بنده میذاره مثلآ...
۱۳۹۹/۰۶/۱۶
form محسن
در:
سلام و عرض ادب لطفا راهنمایی کنید مشکل کد زیر چیه
۱۳۹۹/۰۶/۱۶
form احمد
در:
با عرض سلام ببخشید من با دستور append میخوام یه سطری رو به سبدم اضافه کنم ولی چطوری باید داخل append تگ ها رو بنویسم...
۱۳۹۹/۰۶/۱۵
form احمد
در:
با عرض سلام مجدد و خسته نباشید ببخشید طبق فرمایش شما من قبل از دستور else دستور if را نوشته بودم تا جایی که اطلاع...
۱۳۹۹/۰۶/۱۴
form احمد
در:
با سلام ببخشید طریقه استفاده از دستور else در ایجکس به چه صورت هست ایا باید دوباره فانکشن دان رو در هنگام شرط گذاشتن بزارم....
۱۳۹۹/۰۶/۱۳
form مجتهد
در:
سلام ابتدائا از سایت مفیدتون تشکر می کنم. من خیلی از آموزه هام رو از سایت شما یاد گرفتم. یه سوال دارم...
۱۳۹۹/۰۶/۱۳
form محمد حسین
در:
سلام لینک های من وقتی کلیک شوند اررور 404 تولید میکنند. علت چیست؟
۱۳۹۹/۰۶/۱۱
  در انتظار بررسی: ۱
 پاسخگویی به سوالات ممکن است تا 24 ساعت زمان ببرد.