مقایسه خطای 404 و کد 301 ریدایرکت (Redirect)

چگونه کدهای HTTP سرور را بررسی کنیم؟

ممکن است برایمان این سوال مطرح باشد که چگونه می توانیم مطمئن شویم سرور در پاسخ درخواست ها چه کد وضعیت HTTP را برمی گرداند؟
در پاسخ باید گفت در مرورگرهایی نظیر فایرفاکس، گوگل کروم و... معمولا قسمتی تحت عنوان Web Developer، Developer Tools، Web Console یا عباراتی شبیه به این وجود دارد که در آنها ابزارهای بسیار خوبی برای برنامه نویسان وب و مدیران سایت ها ارائه می شود، به طور مثال هنگام ورود به یک سایت یا صفحه وب جزئیات کاملی از پاسخ های سرور نمایش داده می شود.

نکته: معمولا با زدن دکمه F12 صفحه کلید در مرورگرها قسمت مربوط به بررسی کدهای وضعیت HTTP و سایر امکانات خطایابی در دسترس قرار می گیرد.
علاوه بر این گوگل نیز در ابزار وبمستر خود امکانی تحت عنوان Fetch as Googlebot دارد که با آن می توانیم صفحات خود را با ربات گوگل دریافت و از کارکرد صحیح آنها اطمینان حاصل کنیم، این خدمات گوگل در آدرس 

https://www.google.com/webmasters

ارائه می شود.

کد HTTP 200 یا وضعیت Ok چیست؟

قبل از اینکه بخواهیم خطای 404 را با کد 301 ریدایرکت مقایسه کنیم باید اول ببینیم که پاسخ سرور در حالت عادی چگونه است و اصلا این کدها به چه معنی هستند؟!
طبق پروتکل های وب و از جمله پروتکل HTTP در تعامل بین واسط کاربری (User-agent) و سرور (Server) به طور مثال تعامل بین مرورگر کاربر و سرور یک سایت کدهایی از طرف سرور به عنوان پاسخ به درخواست مرورگر ارسال می شود که وضعیت منبع درخواست شده را تعیین می کند، به فرض اگر منبع درخواستی از URL یک فایل تصویر بوده:

http://example.com/images/tree.png

و این فایل قبلا حذف شده یا تغییر نام داده باشد کد 404 به عنوان عدم پیدا شدن منبع درخواستی یا کد 301 به عنوان تغییر نام یا تغییر محل نگهداری تصویر به مرورگر ارسال می شود، به همین صورت این کد در حالتی که همه چیز روبه راه و به اصطلاح وضعیت Ok باشد با عدد 200 ارسال می شود که نشان دهنده مرتب بودن اوضاع و بدون مشکل بودن سرور و منبع درخواستی است.

Request URL: http://example.com/images/tree.png
Request Method: GET
Status Code: 200 OK

همان طور که گفتیم گاهی خواسته یا ناخواسته ممکن است مشکلی وجود داشته باشد و سرور نتواند منبع مورد نظر را به درستی در پاسخ درخواست ارسال کند و در اینجاست که اهمیت کدهای خطای HTTP مشخص می شود، شاید کاربر عادی (انسان) برایش چندان فرقی نکند که چه کدی از طرف سرور ارسال شده است اما موتورهای جستجو به دلیل ماهیتشان نمی توانند مثل انسان ها اوضاع را تجزیه تحلیل کنند و تنها به کدی که به عنوان پاسخ برگردانده می شود اهمیت می دهند، فرض کنیم سایتی دچار مشکل شده است و نمی تواند منبع درخواست شده را پیدا کند اما با این وجود در مقابل درخواست ربات جستجوگر کد 200 HTTP یا وضعیت Ok را برگرداند، واضح است که در چنین شرایطی ربات تصور می کند همه چیز مرتب است و صفحه دارای مشکل که بعضا ممکن است فاقد محتوا یا پیغام خطا در آن نشان داده شده باشد را ایندکس (ذخیره) می کند، از این وضعیت بدتر اینکه ممکن است منبع درخواستی در سرور وجود داشته باشد اما با ارسال کد HTTP نادرست (به فرض 404) ربات تصور کند که محتوای مد نظرش حذف شده و در دسترس نیست!
برای جلوگیری از بروز اینگونه مشکلات باید در هر وضعیت از کد خطای 404 و 301 ریدایرکت متناسب آن استفاده کنیم که البته هر کدام موارد استفاده جداگانه ای دارند که در ادامه به آنها اشاره خواهیم کرد.

کد خطای 404، صفحه مورد نظر پیدا نشد!

کد خطای 404 یا Not Found به این معنی است که سرور نمی تواند منبع درخواستی (اعم از صفحه وب، فایل و...) را پیدا کند و دلیل خطای 404 یا Not Found معمولا حذف مطلب یا فایل و یا تغییر نام آنها است، گاهی مواقع برای اینکه به ربات های جستجوگر بگوییم که محتوای مد نظر آنها دیگر وجود ندارد و آن را از لیست جستجو حذف کنند، باید با کد 404 HTTP به درخواست آنها پاسخ دهیم، معمولا سرورها در حالت عادی این کار را برای لینک ها و فایل هایی که واقعا وجود ندارند به صورت خودکار انجام می دهند اما گاهی نیاز است که به صورت آگاهانه این کد خطا را تنظیم کنیم، به طور مثال برای دایرکتوری هایی که از نظر ما حساس هستند و نمی خواهیم ربات آنها را پیدا کند (به فرض دایرکتوری پنل مدیریت سایت) و یا در مورد لینک های داینامیک ناقص که ممکن است برنامه سمت سرور به جای خطای 404 صفحه اصلی سایت را نمایش دهد، در این حالت ها لازم است که به صورت دستی کد خطای 404 تنظیم کنیم و خواهیم دید که خزنده های جستجوگر بعد از چند بار مراجعه و درخواست محتوا، نهایتا منصرف شده و آن لینک را به عنوان لینک مُرده برچسب گذاری می کنند.

چگونه کد خطای 404 HTTP را تنظیم کنیم؟

تنظیم کد خطای 404 HTTP بسته به اینکه هدفتان چه باشد می تواند کار ساده و در عین حال حساسی باشد، اشتباه در این کار می تواند به قیمت حذف سایت یا صفحه از لیست نتایج جستجو تمام شود، با این وجود برای انجام این کار معمولا دو راه پرکاربرد وجود دارد:
استفاده از دستورات فایل htaccess. و یا استفاده از زبان های برنامه نویسی سمت سرور مانند PHP یا ASP که در مثال های زیر روش استفاده از دستورات فایل htaccess. و برنامه نویسی PHP را بررسی می کنیم.

تنظیم خطای 404 با دستورات فایل htaccess.

در سرورهای Apache معمولا می توانیم با ایجاد فایلی با نام htaccess. در ریشه سایت (فولدر www یا public_html) بر روی اینگونه عملکردهای سرور کنترل داشته باشیم (در صورت نیاز در این رابطه باید از پشتیبانی هاستمان سوال کنیم)، این فایل در صورت عدم وجود دقیقا به همین صورت صرفا با پسوند htaccess و بدون نام باید ساخته شود.
همانطور که گفتیم سرورها در حالت معمول به طور خودکار خطای 404 را برای صفحات و فایل هایی که به هر دلیل در دسترس نباشند نمایش خواهند داد، اما برای تنظیم صفحه ای سفارشی که کاربر را پس از دریافت خطا با اطلاعات مد نظرمان راهنمایی کند یا او را به آدرس دیگری منتقل نماید، می توان از دستوری مشابه نمونه دستور زیر استفاده کرد:

ErrorDocument 404 /404errorpage.html

کافی است دستور بالا را در فایل htaccess. قرار دهیم (اگر این فایل در سرور وجود ندارد می توانیم در محیط مدیر فایل سرور یا با کپی از فایل های موجود آن را بسازیم)، از این به بعد سرور به جای نمایش صفحه پیش فرض صفحه موجود در ریشه سایت با نام 404errorpage.html را نمایش خواهد داد، همچنین می توانیم این صفحه را در یک فولدر دیگر نیز قرار دهیم:

ErrorDocument 404 /error/404errorpage.html

دقت کنیم که حتما آدرس ها باید به شکل بالا در یک خط و به صورت دایرکتوری تنظیم شده باشند، به فرض تنظیم به صورت

http://www.example.com/error/404errorpage.html

صحیح نیست، از طرفی می توانیم درون صفحه 404 سفارشی از متاتگ های robots و مقادیر noindex استفاده کنیم تا از عدم ذخیره صفحه توسط ربات ها مطمئیم شویم.

<meta name="robots" content="noindex">

این متاتگ را باید در قسمت header صفحه 404 بین تگ های head قرار دهیم.

تنظیم خطای 404 با برنامه نویسی PHP

علاوه بر دستورات htaccess می توانیم با برنامه نویسی سمت سرور و کدهای PHP نیز خطاهای 404 را مدیریت کنیم، برای این کار کافی است با استفاده از توابع header در PHP کد 404 HTTP را در پاسخ درخواست کاربر از سرور به مرورگر (یا هر واسط کاربری دیگری) ارسال کنیم:

<?php
header('HTTP/1.0 404 Not Found');
?>

دقت کنیم که دستورات مربوط به header در PHP باید قبل از چاپ هر نوع خروجی متنی یا HTML اجرا شوند در غیر این صورت با خطا ی 

Warning: Cannot modify header information - headers already sent

مواجه خواهیم شد.

خطای Soft 404 چیست؟

علاوه بر خطای 404 حقیقی که با دریافت کد 404 در سربرگ های HTTP مشخص می شود، نوعی خطای عدم پیدا شدن منبع درخواستی با عنوان Soft 404 error وجود دارد که در این حالت فقط صفحه ظاهری خطا نمایش داده می شود بدون اینکه واقعا کد 404 HTTP در Header پاسخ از طرف سرور تنظیم و ارسال شود (به جای کد 404 کد 200 و وضعیت Ok ارسال می شود)، هرچند این کار می تواند در مواقع خیلی ضروری که نیاز به غیر فعال کردن موقت یک منبع (صفحه، فایل و...) صرفا از دید کاربران (و نه موتورهای جستجو) است مفید باشد اما باید دقت کنیم که در صورت مراجعه ربات های جستجوگر و دریافت پاسخ 200، محتویات فعلی منبع جایگزین محتویات از پیش ایندکس شده آن خواهند شد و بدیهی است که ایندکس شدن محتوای صفحه خطا تاثیر منفی بر SEO را در پی خواهد داشت.
باید سعی کنیم تا حد امکان از عدم وجود خطاهای Soft 404 در کل سایتمان اطمینان حاصل کنیم و در صورتی که نیاز به استفاده از این نوع خطا داشتیم در حداقل زمان ممکن وضعیت را به حالت عادی برگردانیم.

کد 301 HTTP ریدایرکت چیست؟

گفتیم خطای 404 برای لینک هایی مناسب است که می خواهیم از لیست جستجو حذف شوند یا دیگر مورد درخواست ربات های خزنده قرار نگیرند، اما فرض کنیم به تازگی سایت خود را از دامنه قبلی به آدرس جدیدی منتقل یا تغییراتی در ساختار لینک های آن اعمال کرده باشیم، مسلم است که اگر بدون اطلاع موتورهای جستجو این کار را انجام دهیم تمام تلاش هایمان و اعتبار کسب شده برای آن سایت و لینک های قبلی به هدر خواهد رفت، اما اگر کد 301 HTTP ریدایرکت (Redirect 301) را به درستی تنظیم کنیم موتورهای جستجو و کاربران به راحتی و بدون از دست رفتن اعتبار قبلی به آدرس جدید محتوای مد نظرشان هدایت می شوند، در مورد موتورهای جستجو وقتی آنها در پاسخ درخواست کد 301 را دریافت می کنند، آدرس جدید را جایگزین لینک قدیمی کرده و تمام ویژگی ها، رنک و امتیازات را از آدرس قبلی به آدرس جدید انتقال می دهند (البته معمولا این کار مدت زمان کوتاهی طول می کشد)، در مورد کاربران نیز مرورگرها به طور خودکار به آدرس جدید هدایت می شوند (حتی ممکن است سرعت انتقال در حدی باشد که متوجه این فرآیند نشویم).
نکته: تنظیم کد 301 ریدایرکت شیوه توصیه شده موتورهای جستجو از جمله گوگل جهت انتقال از آدرس های قبلی به آدرس جدید است.

تنظیم کد 301 ریدایرکت با دستورات فایل htaccess.

مانند خطای 404 می توانیم کد 301 ریدایرکت را هم با دستوراتی در فایل htaccess. تنظیم کنیم و برای این کار از Flag [R] استفاده می کنیم، در مثال زیر این کار برای فایل index.html انجام شده است و کاربر در صورت درج عبارت index.html در آدرس URL به صفحه اصلی سایت هدایت می شود.

RewriteEngine On
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9} /index.html
RewriteRule ^index.html$ https://webgoo.ir [R=301,L]

دقت کنیم که ممکن است برخی سرورها قابلیت کنترل با دستورات فایل htaccess. را غیرفعال کرده باشند (معمولا این قابلیت فعال است)، در اینگونه موارد باید با پشتیبان هاست خود موضوع را مطرح کنیم.
نکته: برای اطمینان از فعال بودن فایل htaccess. در سرور کافی است در این فایل یک دستور ناقص مانند کد زیر درج کنیم:

.htaccess Test!

اگر با اجرای سایت خطای

500 Internal Server Error

دریافت کنیم یعنی سایت تنظیمات فایل htaccess. را پردازش کرده و این قابلیت فعال است، در غیر این صورت باید موضوع را جهت فعال سازی به پشتیبانی هاست اطلاع دهیم.

تنظیم کد 301 ریدایرکت با برنامه نویسی PHP

با استفاده از تابع header در PHP و تنظیم آدرس URL جدید جهت انتقال، می توانیم لینک را به اصطلاح برای همیشه (Permanently) منتقل کنیم، به طور مثال:

<?php
header('HTTP/1.1 301 Moved Permanently');    
header('Location: https://webgoo.ir');
die();
?>

همان طور که دیدیم شرایط و موقعیت های استفاده از خطای 404 با 301 ریدایرکت متفاوت است و باید هوشمندانه و به جا از این کدها در برنامه مدیریت سایتمان استفاده کنیم.