parsgreen.com
article

نحوه استفاده از فایل robots.txt در سایت

web-seo-robots-txt

از زمان شکل گیری ابزار ارتباطی نوین به نام اینترنت یا شبکه جهانی، قوانین و قواعدی نیز به همراه آن وضع شد که در بحث بهینه سازی سایت یا سئو (Search Engine Optimization) واضعان آن قواعد و قوانین، عمدتا موتورهای جستجوگر معروفی چون گوگل (google)، بینگ (bing)، یاهو (yahoo) و... بوده اند، بدین ترتیب با هم اندیشی توسعه دهنده گان وب و مهندسین این شرکت ها، به تدریج استانداردها و قواعدی برای مدیران سایت ها تدوین شد که یکی از این قواعد، کنترل رفتار ربات های خزنده (bots) موتورهای جستجو به وسلیه ایجاد و تنظیم فایلی به نام robots.txt در ریشه سایت است؛ بدین وسیله می توان تا حدودی رفتار ربات ها را در نحوه جستجو و ایندکس صفحات مدیریت کرد، در ادامه به چگونگی انجام این کار و همچنین بایدها و نبایدهای استفاده از این امکان اشاره خواهیم کرد.

فایل robots.txt چیست؟


فایل robots.txt یک فایل متنی ساده است که می توان آن را با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه سایت قرار می گیرد (یعنی به طور مستقیم در فولدر wwwroot یا همان public_html و در بالاترین سطح) به طوری که اگر بعد از آدرس سایت، عبارت robots.txt را تایپ کنیم، این فایل در دسترس باشد:
http://www.example.com/robots.txt
از فایل robots.txt برای مواردی استفاده می شود که نمی خواهیم صفحاتی از سایتمان توسط موتورهای جستجو (ربات های خزنده) بررسی و ایندکس شود، یا ممکن است قبلا این کار صورت گرفته باشد و اکنون می خواهیم آن صفحات را به هر دلیل حذف کنیم، البته استفاده از فایل robots.txt برای حذف لینک ها از نتایج موتورهای جستجو، تنها یک پیش شرط است (شرط لازم است نه کافی!) و برای تکمیل کار، شاید ناچار باشید به ابزار وبمستر سایت هایی مثل گوگل در آدرس:
https://www.google.com/webmasters/tools
و بینگ در آدرس:
http://www.bing.com/toolbox/webmaster
مراجعه کنید.
با این تفاسیر استفاده از این فایل همیشه هم ضروری نیست و همانطور که گفتیم، در موارد مسدود کردن دسترسی ربات ها به صفحات خاص (لینک های خاص) کاربرد دارد، اما به دلیل اینکه اکثر ربات های جستجوگر همواره این فایل را از سرور شما درخواست می کنند، بهتر است برای اجتناب از افزایش خطاهای 404 که در بخش log ها و آمار سایت جلوه خوبی ندارند، حتی شده یک فایل خالی با این نام در ریشه سایت خود قرار دهید.

نحوه تنظیم فایل robots.txt


یک فایل robots.txt معمولا از دو قانون ساده پیروی می کند، User-agent یا واسط کاربری (نوع خزنده یا ربات) و Disallow یا لینکی که دسترسی به آن را مسدود (یا مجاز) می کنیم؛ علاوه بر این، به یاد داشته باشید که در ابتدای آدرس دایرکتوری ها، باید از یک اسلش (/) نیز استفاده شود و در استفاده از حروف بزرگ یا کوچک نیز دقت کنید (به فرض دایرکتوری Image در مقایسه با image از دید ربات ها، معمولا دو آدرس متفاوت هستند).
به طور مثال اگر در فایل خود کد زیر را قرار دهیم:
User-agent: *
Disallow: /image/
ربات ها با پیروی از این قانون، دیگر محتوای فولدر image را بررسی نکرده و در نتایج جستجو آن را نمایش نمی دهند، هنگامی که از علامت * برای واسط کاربری استفاده می کنیم، در واقع منظور ما تمام ربات ها هستند، البته ذکر این نکته لازم است که تنها خزنده های برخی سایت ها و شرکت های معروف و معتبر به این قوانین احترام می گذارند و در مقابل برخی حتی برای ارسال اسپم یا نفوذ به صفحات حساس سایت ها، از این فایل، سوء استفاده نیز می کنند، لذا این نکته دارای اهمیت زیادی است که هیچ گاه برای محافظت از دایرکتوری های حساس، مانند دایرکتوری مدیریت سایت، به این فایل بسنده نکنید (بلکه یک سیستم ورود و خروج مطمئن برای آن در نظر بگیرید) و بهتر است آدرس دایرکتوری مدیریت را نیز در آن قرار ندهید، بهترین روش برای جلوگیری از ایندکس شدن دایرکتوری های حساس، این است که هیچ لینک خروجی و در معرض دید و دسترس ربات در صفحات خود نداشته باشید و از طرف دیگر دسترسی به محتوای این نوع صفحات را با ایجاد سیستم دریافت نام کاربری و کلمه عبور، محدود کنید.

چند مثال از نحوه استفاده از فایل robots.txt


برای آشنایی بیشتر و کاربردی تر، در زیر چند مثال با تنظیمات متفاوت را آورده ایم.
استفاده از فایل robots.txt و مسدود کردن یک فولدر برای تمام ربات ها:
User-agent: *
Disallow: /old-posts/
استفاده از فایل robots.txt و مسدود کردن یک فایل برای تمام ربات ها:
User-agent: *
Disallow: /old-posts/mypic.jpg
استفاده از فایل robots.txt و مسدود کردن یک فایل در ریشه سایت برای تمام ربات ها:
User-agent: *
Disallow: /private.html
استفاده از فایل robots.txt و مسدود کردن یک فولدر برای یک ربات خاص:
User-agent: Googlebot
Disallow: /personal/
برای دیدن لیست کامل واسط های کاربری (User-agent) می توانید به دیتابیس موجود در آدرس زیر مراجعه کنید:
http://www.robotstxt.org/db
مسدود بودن تمام صفحات برای تمام ربات ها:
User-agent: *
Disallow: /
مجاز بودن تمام صفحات برای تمام ربات ها:
User-agent: *
Allow: /

تنظیم فایل robots.txt با استفاده از الگو یا Pattern


علاوه بر ایجاد تنظیمات معمولی، برخی ربات ها (از جمله ربات گوگل) از قوانین پیچیده تری نیز پشتیبانی می کنند، این قوانین بی شباهت به عبارات با قاعده یا Regular Expressions نیستند، با این تفاوت که در اینجا فقط از چند علامت خاص (* ? $) استفاده می شود.
- برای تطبیق توالی از عبارات، از علامت * استفاده می شود، به طور مثال اگر ما چند دایرکتوری داشته باشیم که با عبارت فرضی book شروع شده باشند و بخواهیم با یک دستور، دسترسی ربات را به تمام آنها مسدود کنیم، خواهیم نوشت:
User-agent: Googlebot
Disallow: /book*/
به این ترتیب فولدرهای فرضی booksell، bookread، bookiran و... برای ربات مسدود خواهند شد، لذا همان طور که ملاحظه می کنید، نقش علامت * این است که در واقع عبارات بعد از آن در تطبیق نادیده گرفته می شوند.
- برای مسدود کردن لینک های داینامیک از علامت ? و * استفاده می کنیم، به فرض دستور زیر تمام لینک های داینامیک را برای ربات غیر قابل دسترس می کند:
User-agent: *
Disallow: /*?
همچنین می توان برای ساب دایرکتوری ها (دایرکتوری های زیر مجموعه) نیز این قابلیت را ایجاد کرد و از این نظر هیچ محدودیتی نیست:
User-agent: *
Disallow: /articles/*?
- برای مشخص کردن دقیق انتهای یک الگو، از علامت $ استفاده می شود، به فرض اگر قصد ما مسدود کردن تمام فایل های با پسوند png برای ربات باشد، خواهیم نوشت:
User-agent: * 
Disallow: /*.png$
به این ترتیب، تمام فایل هایی که به پسوند png ختم شده باشند، برای ربات مسدود می شوند.

استفاده ترکیبی از قوانین در فایل robots.txt


تنظیمات فایل robots.txt به موارد گفته شده محدود نمی شود، شما می توانید برای یک واسط کاربری، چندین و چند آدرس یا دایرکتوری مجاز یا غیر مجاز تعریف کنید، یا با قوانین پیچیده، دستورات پیچیده تری ایجاد نمائید، به فرض در برخی سایت ها ممکن است مقادیر id سشن (session یا نشست) به عنوان بخشی از آدرس صفحه به صورت رندوم در لینک ها قرار داده شود (این موضوع یک اشکال در سئو محسوب شده زیرا موجب بروز مطالب تکراری با لینک های متفاوت می گردد) و در مقابل برخی آدرس ها نیز علامت ? را به طور طبیعی داشته باشند، در اینگونه موارد اگر بخواهیم به ربات بگوییم که به عبارات بعد از علامت ? در لینک های دارای سشن id توجه نکند، ولی لینک هایی را که به علامت ? (بدون وجود کاراکتری بعد از علامت ?) ختم می شوند، ایندکس کند، در یک فایل robots.txt خواهیم نوشت:
User-agent: *
Allow: /*?$
Disallow: /*?
به این ترتیب قانون اول اجازه ایندکس تمام آدرس هایی را که نهایتا به علامت ? ختم می شوند می دهد (علامت $ نشان دهنده پایان یک الگو است)، اما قانون دوم باعث نادیده گرفتن سشن id در لینک های داینامیک سایت می شود (در واقع وقتی از علامت $ در انتهای الگو استفاده نمی شود، یعنی هر عبارتی بعد از علامت ? بیاید، شامل آن الگو می شود).  
یا به فرض اگر بخواهیم چند لینک مختلف را در یک دستور مسدود کنیم، خواهیم نوشت:
User-agent: *
Disallow: /articles/22.html
Disallow: /articles/23.html
Disallow: /articles/?post=159&title=آموزش-برنامه-نویسی-وب

افزودن نقشه سایت به فایل robots.txt


علاوه بر مجاز و مسدود کردن لینک ها، دایرکتوری ها و فایل ها، فایل robots.txt یک قابلیت دیگر نیز دارد، از طریق این فایل می توانید نقشه xml سایت خود را به تمام ربات های خزنده معرفی کنید، برای انجام این کار کافی است با یک فاصله، آدرس کامل نقشه سایت خود را وارد نمائید، به فرض:
User-agent: *
Disallow: /articles/22.html
Disallow: /articles/23.html
Disallow: /articles/?post=159&title=آموزش-برنامه-نویسی-وب

Sitemap: http://webgoo.ir/sitemap.xml

سایر روش های مسدود سازی لینک ها برای ربات جستجوگر


در پایان این مطلب، بد نیست اشاره ای نیز داشته باشیم به سایر روش های مسدود سازی لینک ها و صفحات، بر روی ربات های جستجوگر، علاوه بر استفاده از فایل robots.txt جهت کنترل رفتار خزنده های با اصل و نسب وب، دو روش دیگر نیز برای این کار وجود دارد، روش اول استفاده از متاتگ noindex است که در قسمت head صفحه قرار می گیرد، به فرض:
<meta name="robots" content="noindex" />
یا
<meta name="googlebot" content="noindex" />
روش دوم نیز ارسال یک سربرگ HTTP برای ربات ها در هنگامی که صفحه را درخواست می کنند است، انجام این کار در php با استفاده از توابع header و به شکل زیر صورت می گیرد:
header("X-Robots-Tag: noindex", true);
یا
header("X-Robots-Tag: noindex, nofollow", true);
sectionدسته بندی: مهارتهای وب » بهینه سازی
related مطالب بیشتر:
» مقایسه خطای 404 و کد 301 ریدایرکت (redirect)
» رتبه بندی الکسا (Alexa) چیست و چقدر اهمیت دارد؟!
» پیج رنک چیست و چگونه می توان آن را افزایش داد؟
» مشکلات رایج در کدنویسی معتبر و رفع آنها
» چرا برخی سایت ها و وبلاگ ها رتبه الکسای بهتری دارند؟
commentنظرات (۶۸ یادداشت برای این مطلب ارسال شده است)
نویسنده: محمد
زمان: ۲۱:۵۸:۵۷ - تاریخ: ۱۳۹۱/۰۶/۱۴
سلام. ممنون از مطلب مفیدتون.
سوالی داشتم آیا نمیشه کاری کرد گوگل این فایل را نخونه؟
سرویس میهن بلاگ خودکار این فایل رو درست کرده و داره بشدت به ما ضربه میزنه نگاه کنید اینجا را:
http://www.full-dl.com/robots.txt
پاسخ: 
سلام
متاسفانه در مورد این مشکل نمی توان کار خاصی انجام داد، کنترل سرور باید در اختیار شما باشد تا بتوانید تنظیمات این فایل را تغییر دهید که در سیستم های وبلاگی اینگونه نیست، اما ظاهرا این فایل نباید مشکل خاصی پیش بیاورد، لینک های فعلی سایت شما ایندکس می شوند و توسط این فایل مسدود نشده اند، تنها آدرس هایی که در سیستم پیش فرض میهن بلاگ کاربردی ندارند، مسدود شده اند.
نویسنده: محمد
زمان: ۱۲:۳۱:۵۳ - تاریخ: ۱۳۹۱/۰۶/۱۵
با تشکر از شما. بله متوجه شدیم که مشکل از خود فایل نیست بلکه سرویس میهن بلاگ به دلایل نامعلوم اجازه دسترسی به این فایل رو به ربات گوگل چند روزی نداده. نمیدونم یا فایروال یا خود صاحبان سرور !!!!!!!!!!
حالا چون به این فایل اجازه دسترسی نیست، گوگل سایت را از دسترس خارج کرده. !!!!!
پاسخ: 
با بررسی که انجام دادیم، این فایل برای ربات گوگل مسدود نیست و حتی در صورت مسدود بودن هم نمی تواند باعث بروز مشکل شود؛ احتمالا حذف سایت شما از لیست گوگل دلیل دیگری دارد، مهم ترین مورد می تواند وجود لینک های متفاوت ولی با محتوای یکسان باشد، چون مطالب شما هم با آدرس میهن بلاگ و هم بودن آن قابل دسترس است؛ این مطلب شاید در تشریح مشکل کمک کند:
حل مشکل مطالب تکراری (duplicate content) در سایت
نویسنده: محمد
زمان: ۱۳:۴۳:۱۶ - تاریخ: ۱۳۹۱/۰۶/۱۵
اما این متنی است که گوگل برای ما فرستاده :
http://www.full-dl.com/: Googlebot can't access your site
Over the last 24 hours, Googlebot encountered 13 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 100.0%.

Recommended action
If the site error rate is 100%:

Using a web browser, attempt to access http://www.full-dl.com//robots.txt. If you are able to access it from your browser, then your site may be configured to deny access to googlebot. Check the configuration of your firewall and site to ensure that you are not denying access to googlebot.
If your robots.txt is a static page, verify that your web service has proper permissions to access the file.
If your robots.txt is dynamically generated, verify that the scripts that generate the robots.txt are properly configured and have permission to run. Check the logs for your website to see if your scripts are failing, and if so attempt to diagnose the cause of the failure.

If the site error rate is less than 100%:

Using Webmaster Tools, find a day with a high error rate and examine the logs for your web server for that day. Look for errors accessing robots.txt in the logs for that day and fix the causes of those errors.
The most likely explanation is that your site is overloaded. Contact your hosting provider and discuss reconfiguring your web server or adding more resources to your website.
پاسخ: 
این مشکل می تواند چند دلیل داشته باشد، شاید به بلاک شدن IP های گوگل توسط فایروال سرور یا مشکل DNS دامنه مربوط شود، برای بررسی، بهتر است در سرویس وبمستر گوگل وضعیت سلامت سایت را چک کنید یا در بخش Fetch as Google آدرس فایل robots.txt را امتحان کنید.
نکته: یک اسلش (/) اضافه هم در آدرس فایل دیده می شود؟!
اگر این فایل بلاک شده باشد، پیشنهاد می کنیم با پشتیبانی میهن بلاگ موضوع را مطرح کنید.
نویسنده: محمد
زمان: ۱۶:۳۸:۴۲ - تاریخ: ۱۳۹۱/۰۶/۱۵
متشکرم که با حوصله وقت گذاشتین و پاسخگو بودین.
در وب مستر تولز چک کردم :Unreachable
به پشتیبانی بلاگم ایمیل زدم منتظر پاسخ اونا هستم.
بازم تشکر
پاسخ: 
خواهش می کنیم، امیدواریم که مشکل هر چه زودتر حل شود.
نویسنده: حسین
زمان: ۰۰:۴۲:۲۳ - تاریخ: ۱۳۹۱/۰۹/۱۰
سلام اگه ما Disallow ها رو نوشتیم بقیه فایل و پوشه ها که در Disallow ننوشته به طور خودکار allow میشن ؟ یا نه اونا رو تک تک باید allow تعریف کنیم براشون؟ ممنون
پاسخ: 
سلام
بله، استفاده از Allow اختیاری است و به صورت پیش فرض هر فایل یا دایرکتوری که Disallow نباشد Allow است، البته الزاما این به معنی پیدا شدن و ایندکس شدن آن دایرکتوری یا فایل نیست، بلکه باید لینکی نیز در وبسایت شما به آن فایل یا دایرکتوری ارجاع داده باشد.
زمان: ۱۰:۰۸:۱۶ - تاریخ: ۱۳۹۱/۱۰/۱۹
سلام
اگر بخواهيم اجازه دسترسي به همه فايلها را به گوگل بدهيم بايد يك فايل متني خالي با نام robots ايجاد كرده و در سايت قرار دهيم؟
وجود اين فايل بهتر است يا نبود آن؟
پاسخ: 
سلام
بهتر است یک فایل ایجاد کنید و کد زیر را در آن قرار دهید:
User-agent: *
Allow: /
هر چند فایل خالی باشد هم در عمل تفاوتی نیست.
اگر فایل وجود داشته باشد بهتر است، چون ربات های جستجوگر به دفعات، وجود این فایل در سرور را بررسی می کنند و اگر وجود نداشته باشد، خطاهای 404 در log سرور بی مورد ثبت می شوند، ضمن اینکه اگر در ابزارهای وبمستر گوگل یا bing مایکروسافت عضو باشید، به احتمال زیاد، پیام هشدار به این خاطر دریافت خواهید کرد.
نویسنده: Mousa
زمان: ۱۰:۳۶:۳۲ - تاریخ: ۱۳۹۱/۱۱/۰۸
با سلام و خسته نباشید.
مطلب خیلی خوبی بود. چند وقتی بود که با این فایل robots درگیر بودم. مرسی
نویسنده: رضا
زمان: ۱۵:۳۱:۱۶ - تاریخ: ۱۳۹۱/۱۲/۰۷
با سلام و خسته نباشید.
مطلب خیلی خوبی بود.
یعنی با استفاده از این کد میتوان ان را از همه جستجوگرها پنهان کرد؟
پاسخ: 
سلام
از جسجوگرهای استاندارد (که از دستورات فایل robot.txt پیروی می کنند) و با رعایت سایر نکاتی که در آموزش عنوان شده.
نویسنده: رضایی
زمان: ۰۲:۱۸:۰۵ - تاریخ: ۱۳۹۲/۰۱/۲۳
با سلام و خسته نباشید
یک سوال داشتم
من مثلآ سایتم
www.site.com
است و یک سایت دیگه طراحی کردم و تو پوشه test ریختم یعنی وقتی آدرس
www.site.com/test
رو میزنم سایت جدید میاد بالا
حالا میخام که در پوشه test موقتآ صفحات و لینکهای داخل صفحات در گوگل ایندکس نشود در فایل روبوت چه باید بنویسم و محل قرار گیریش در کجای هاست باید باشد. ممنون میشم یه راهنمایی بفرمایید
با تشکر از سایت مفیدتون
رضایی
پاسخ: 
سلام
همان طور که در آموزش توضیح داده شده، کافی است بنویسید:
User-agent: *
Disallow: /test/
، فایل robots.txt را هم در ریشه سایت اصلی قرار دهید، البته تا زمانی که از سایت جدید آدرسی در دسترس ربات ها نباشد (لینکی در صفحات قابل دسترس فعلی به سایت جدید نباشد)، آنها این دایرکتوری را ایندکس نمی کنند.
نویسنده: مهدی
زمان: ۱۱:۴۴:۰۶ - تاریخ: ۱۳۹۲/۰۱/۲۹
باسلام. ممنون از اطلاعات دقیق شما. سوالی داشتم سایتی که راه اندازی کردم مدتی است با نوشتن این متن
((به دلیل robots.txt این سایت، توضیحی برای این نتیجه وجود ندارد)) متاسفانه سایت بالا نمیاد یا صفحه باز نمیشه ممنون میشم که راه حل این مسئله رو بدونم منتظر جواب هستم
پاسخ: 
سلام
اگر برای راه اندازی سایت از CMS (مانند وردپرس، جوملا و...) استفاده کرده اید، در درجه اول باید به انجمن آن مراجعه کنید، چون این نوع مشکلات ممکن است به موارد دیگری نیز ارتباط داشته باشد، اما با فرض اینکه از وردپرس استفاده می کنید، ابتدا یک پشتیبان از فایل robots.txt فعلی تهیه کنید و سپس محتویات آن را به حالت پیش فرض تغییر دهید، حالت پیش فرض:
Sitemap: http://www.example.com/sitemap.xml

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

# digg mirror
User-agent: duggmirror
Disallow: /

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/
اگر مشکل حل نشد، ممکن است مسئله از مورد دیگری باشد.
نویسنده: مهدی
زمان: ۱۸:۲۷:۱۱ - تاریخ: ۱۳۹۲/۰۱/۲۹
چگون میتونم پشتیبان تهیه کنم؟عذر میخوام اگه میشه جواب بدین
پاسخ: 
وارد پنل هاست خود شوید و در ریشه سایت، فایل robots.txt فعلی را دانلود کنید (و در یکی از درایوهای کامپوتر خود جهت استفاده های بعدی ذخیره کنید)، سپس فایل جدیدی که ساخته اید را جایگزین آن نمائید.
نویسنده: سامان
زمان: ۱۱:۰۶:۵۳ - تاریخ: ۱۳۹۲/۰۲/۱۳
سلام
خسته نباشید
یه سوال:
من سایتم رو گوگل سرچ کردم به زور یه دونه میاره ، اونم نوشته "به دلیل robots.txt این سایت، توضیحی برای این نتیجه وجود ندارد – بیشتر بیاموزید."
باید چکار کنم؟
اصلا فایل روبات robots.txt در هاست وجود نداره که درستش کنم! این فایل کجا است؟
ممنون کمکم کنید
پاسخ: 
سلام
فایل robots.txt در ریشه سایت (فولدر www یا public_html) وجود دارد، یعنی برای سایت شما به صورت زیر قابل دسترسی است:
yoursite.ir/robots.txt
با تایپ این آدرس متوجه می شویم که دستور زیر در آن قرار دارد:
User-agent: *
Disallow: /
و این دستور دسترسی ربات خزنده را به تمام دایرکتوری ها ممنوع می کند، برای رفع مشکل، دستور را به شکل زیر تغییر دهید:
User-agent: *
Allow: /
برای کسب اطلاعات بیشتر نیز آموزش را مطالعه کنید.
نویسنده: سامان
زمان: ۱۸:۴۴:۴۱ - تاریخ: ۱۳۹۲/۰۲/۱۳
سلام دوباره!
خیلی ممنون از قسمت بالا!
ولی اون فایل روبات اصلا نیست من خودم یه دونه ساختم گذاشتم ولی گوگل باز همون یکی اولی رو نشون میده ، فایل منو اصلا خیالش نمیاره
با تشکر
پاسخ: 
سلام
در مورد اینکه فایل نیست، ممکن است به صورت داینامیک ایجاد شود و فایل حقیقی نباشد، به هر صورت خروجی مهم است نه روش ساخت، اما در مورد اینکه گوگل از تنظیمات همان فایل قبلی استفاده می کند، باید مدتی صبر کنید (حداقل سه روز) تا اطلاعات جدید فراخوانی شده و رفتار خزنده بر آن اساس تغییر کند.
نویسنده: behbod
زمان: ۰۲:۱۲:۱۹ - تاریخ: ۱۳۹۲/۰۲/۲۷
ممنون از مطلب مفیدتون من که خیلی استفاده کردم
فقط یه سوال دارم که اگر جواب بدید ممنون میشم
تفاوت فرمان
User-agent: *
Disallow:
و فرمان
User-agent: *
Allow: /
در چیست؟
پاسخ: 
سلام
همان طور که در آموزش توضیح داده شده، دستور Disallow با واسط کاربری * دسترسی به کل سایت را برای تمام ربات ها غیر مجاز می کند (البته برای ربات هایی که از دستورات فایل robots.txt پیروی می کنند)، اما دستور Allow با واسط کاربری * برعکس، دسترسی به تمام دایرکتوری ها را مجاز می کند.
نویسنده: behbod
زمان: ۱۹:۴۴:۱۱ - تاریخ: ۱۳۹۲/۰۲/۲۷
ممنون از جواب سریعتون
ولی همونطور که در کد معلومه جلوی دستور Disallow چیزی نیست میخوام بدونم اگر / نباشه بازم دسترسی محدود میشه یا عملکردش مشابه دستور Allow میشه
چون یک سایت رو دیدم در گوگل صفحه اول بود و از این دستور استفاده کرده بود:
User-agent: *
Disallow:
پاسخ: 
بله، با حذف علامت / که به معنی ریشه سایت است، عملکرد Disallow مانند Allow می شود، البته بهتر است از Allow استفاده شود، چون مشخص تر و به هدف از به کاربردن دستور نزدیک تر است.
نکته: در مورد حالت فوق نحوه استفاده از دستورات هیچ تاثیری در رتبه گوگل ندارد.
paged صفحه 1 از 5




more لطفا دقت کنید که یادداشت های زیر منتشر نشده و حذف خواهند شد:
- یادداشت های خارج از موضوع این مطلب.
- سوالات کلی، غیر ضروری و مشکلاتی که هیچ تلاشی برای رفع آن نکرده باشید.
- نظرات حاوی کدها و اسکریپت های خیلی طولانی (به طور مثال کد کامل قالب وبلاگ).

6 × 9
 refresh
آگهی
seonab.com
طراحی نرم افزار اندروید
رنگین کمان عکس
Ranginkamaan.com

آرشیو عکس های باکیفیت با موضوعات متنوع...