حل مشکل مطالب تکراری (duplicate content) در سایت

نکته: این مطلب یک مقاله سطح متوسط به بالا است، لذا ممکن است درک برخی مسائل برای کاربران کم تر حرفه ای، چندان راحت نباشد، توصیه می کنیم اگر شما نیز در چنین وضعیتی قرار دارید، لطفا صرفا به عنوان کسب اطلاعات بیشتر آن را مطالعه کنید و از دستکاری سایت یا وبلاگ خود جدا خودداری نمائید!

مطالب تکراری یا duplicate content چیست؟

مطالب تکراری یا duplicate content انواع و تعریف مختلف دارند، گاهی کل محتوای یک صفحه با صفحه همسان دیگری مشابه است و گاهی نیز تشابه به تگ هایی مثل title و description محدود می شود، نوع سوم هم می تواند عدم تشابه در تگ های title و description و تشابه در محتوای آن صفحات باشد؛ مثلا فرض کنید به عنوان یک کاربر در موتور جستجوی گوگل به دنبال عبارتی می گردید، آنگاه در لیست نتایج، با چند صفحه از سایتی روبرو می شوید که علی رغم متفاوت بودن لینک مطلب، محتوای یکسان و مشابه ای در آنها وجود دارد، این صفحات را در اصطلاح، صفحاتی با محتوا و مطالب مشابه و تکراری یا duplicate content می نامند که از نظر سئو یک عیب محسوب می شود.

چرا نباید در سایت یا وبلاگ خود مطالب تکراری داشته باشیم؟

اینکه چرا نباید مطالب تکراری در سایت یا وبلاگ خود داشته باشیم، بیشتر بر می گردد به طبع موتورهای جستجو و از جمله گوگل، ربات های جستجوگر این سرویس ها همیشه در پی یافتن مطالبی یکتا از آدرس های (url) سایت یا وبلاگ شما هستند تا نتایجی بهتر به کاربران خود نشان دهند، وقتی چندین صفحه تکراری با محتوای یکسان را معرفی کنیم، به نوعی موجب سردرگمی آنها شده ایم، البته نهایتا آنها یک صفحه را به عنوان مرجع تشخیص می دهند و آن را بر می گزینند، اما تکرار این کار ممکن است موجب شناسایی سایت یا وبلاگ شما به عنوان پایگاهی فریب دهنده و حقه باز شود که این در نهایت موجب حذف آدرس و اطلاعات شما از لیست جستجو و پایگاه داده آنها است، در عوض داشتن مطالبی یکتا بدون تکرار یا با حداقل تکرار و یا استفاده از روش هایی که در ادامه خواهیم گفت، سبب جلب اعتماد بیشتر موتور های جستجو به سایت یا وبلاگ شما و بالا رفتن رنک مطالب شما در لیست نتایج آنها است.
علت دیگری که می توان برای پرهیز از ایجاد خواسته یا ناخواسته مطالب تکراری عنوان کرد، پراکنده شدن و در نتیجه کاهش رنک مطالب سایت یا وبلاگ است، چرا که در حالت معمولی با بازدیدها و لینک هایی که به یک مطلب تعلق می گیرد، رنک آن نیز به همان نسبت افزایش می یابد و واضح است که اگر این رنک را بین چند صفحه دیگر تقسیم کنیم، در نهایت رنک تمام آنها کاهش خواهد یافت؛ از طرفی دیگر مطالب تکراری موجب صرف وقت و پهنای باند بیشتر در مرور صفحات توسط ربات ها و کسب نتیجه کمتر به دلیل همسان بودن محتوا است که این خود شانس ایندکس صفحاتی بیشتر در بازه زمانی کوتاه تر را از سایت یا وبلاگ شما خواهد گرفت.

علت ایجاد مطالب تکراری یا duplicate content چیست؟

مشکل محتوای تکراری به دلایل زیادی ممکن است ایجاد گردد، در زیر به پاره ای از این دلایل و روش حل آن اشاره می کنیم.
- نقص عملکرد سیستم مدیریت محتوا در تولید لینک های یکتا:
برخی سیستم های مدیریت سایت یا وبلاگ، برای یک مطلب به دلایل مختلف ممکن است لینک های مجزا و متفاوت تولید کنند، مثلا ممکن است صفحه اصلی سایت به هر دو صورت زیر در دسترس باشد.

http://yoursite.com
http://yoursite.com/?page=1

شاید از نظر کاربران سایت این مشکل چندانی به نظر نرسد، اما از دید ربات های جستجوگر، این دو آدرس، دو صفحه متفاوت با محتوایی یکسان محسوب می شوند، لذا حتی المقدور سعی کنید لینک های اضافه را اصلاح نمائید؛ در ضمن استفاده از rel canonical نیز می تواند تا حدود زیادی رنک مطالب اصلی را حفظ کند، البته نحوه استفاده از این تگ جای بحث بیشتر دارد ولی همین قدر بدانیم که باید آن را در صفحاتی که مشابه با صفحه اصلی هستند، با تنظیم لینک مطلب اصلی، در قسمت هِدر (بین تگ های head) به صورت زیر قرار دهیم.

<link rel="canonical" href="http://www.yoursite.com/mainlink.html" />

بعضا شاهد هستیم که برخی در تمام صفحات خود این تگ را استفاده می کنند که ظاهرا با فلسفه وجودی آن منافات دارد، چرا که rel canonical باید در صفحات همسان با صفحه اصلی، برای مشخص نمودن محتوای مرجع به کار برده شود نه اینکه در تمام صفحات، آن را قرار دهیم (البته ضرر این کار اثبات نشده است اما مسلما به این صورت سودی هم نخواهد داشت).
- ایجاد محتوای یکسان در آدرس های گوناگون:
اگر به طور همزمان مطالب خود را در بیش از یک سایت یا وبلاگ درج کنید، این کار موجب ایجاد مطالب تکراری همسان یا duplicate content می شود، چرا که ربات های جستجوگر با یافتن این مطالب، آنها را با هم مقایسه می کنند و تنها آن مطلبی را که درست تشخیص دهند، ایندکس می کنند، لذا از کپی بی مورد مطالب در سایت ها و وبلاگ های گوناگون خودداری کنید.
- در دسترس بودن سایت با www و بدون آن
اگر وبسایت شما با درج عبارت www در نوار آدرس و در عین حال بدون درج آن نیز در دسترس کاربران قرار می گیرد، به طور قریب به یقین با مشکل مطالب تکراری روبرو خواهید شد، چرا که از دید موتورهای جستجو این دو آدرس، دو صفحه مجزا تلقی شده و به طور جداگانه پردازش می شوند، البته برخی از آنها نظیر گوگل تا حدودی قادر به تشخیص آدرس پیش فرض هستند، اما بهتر است یک آدرس را برگزینید و حالت دیگر را با ارسال کد HTTP 301، به اصطلاح برای همیشه ریدایرکت کنید (HTTP/1.1 301 Moved Permanently)، انجام این کار در php با تنظیم مقادیر هِدر به صورت زیر امکان پذیر است.

header('HTTP/1.1 301 Moved Permanently'); 
header('Location: http://www.yoursite.com'); 
die();

کد بالا با ارسال هِدر 301 به ربات های جستجو خواهد گفت که لینک مورد نظر آنان برای همیشه به آدرس جدیدی منتقل شده است که در قسمت Location آن را تنظیم کرده ایم، این نوع ریدایرکت با حالت معمولی که از متاتگ refresh استفاده می کنیم فرق دارد، این روش مورد تایید و توصیه موتورهای جستجو و کاربرپسند است (چرا که به دلیل سرعت کار، در واقع کاربر معمولا متوجه عمل انتقال به لینک جدید نمی شود)، اما روش ریدایرکت با متاتگ refresh جایگزینی برای موارد اضطراری است که به کدهای سرور خود دسترسی نداریم و توصیه نمی شود، یادآور می شویم تا هنگامی که در برنامه نویسی php یا asp تسلط لازم را پیدا نکرده اید اقدام به دستکاری کدهای خود نکنید، چون یک تغییر اشتباه ممکن است موجب بروز مشکلات بدتر از وجود مطالب تکراری شود!
- وجود دو یا چند دامنه برای یک سایت یا وبلاگ
مانند موقعیت قبل، اگر سایت یا وبلاگ شما با دو یا چند آدرس در وب قابل دسترسی باشد، تاثیر منفی مستقیم بر عملکرد آن خواهد داشت، مگر اینکه تمام دامین های فرعی را با ریدایرکت HTTP 301، به دامین اصلی هدایت کنید، مثلا اگر آدرس سایت شما هم به صورت:

http://yoursite.com

و هم به صورت:

http://yoursite.ir

در دسترس است، باید یک دامنه را انتخاب کنید و آدرس دیگر را به دامنه اصلی انتقال دهید.
- قابل دسترس بودن سایت با و بدون درج index.php.html.asp در انتهای آدرس
یکی دیگر از موارد شایع در خصوص ایجاد صفحات و محتوای تکراری، دسترسی به سایت با و بدون درج عباراتی چون index.php، index.html، index.asp و غیره است؛ شاید گمان کنید موتورهای جستجو تشخیص می دهند که صفحه ایندکس یک سایت، همان صفحه اصلی آن است، اما در پاسخ باید بگوییم که معمولا اینطور نیست، در برخی از سرور ها ممکن است تنظیمات پیش فرض تغیر داده شوند و صفحه اصلی سایت با عبارتی دیگر تنظیم شده باشد و لذا فایل ایندکس الزاما به معنی صفحه اصلی نیست، به همین دلیل موتورهای جستجو ممکن است کماکان بر ایندکس جداگانه مطالب اصرار داشته باشند، لذا بهتر است با شناسایی لینک مورد تقاضا (REQUEST URI)، آن را تجزیه تحلیل کرده و به حالت استاندار ریدایرکت کنید.
- سایت ها و وبلاگ هایی که مطالب شما را کپی می کنند
کپی مطالب به صورت مستقیم حتی بدون ذکر نویسنده و نامی از منبع و بدون هیچ تغییر محسوسی در مطلب، کاری است که متاسفانه بعضا شاهد آن هستیم، البته عده ای بدون سوء نیت و آگاهی این کار را صرفا از روی علاقه به درج محتوا در وبلاگ یا سایتشان انجام می دهند اما برخی نیز این کار را به عنوان افتخار خود تلقی کرده یا در پی سوء استفاده از مطالب شما برای مقاصد خودشان هستند، به هر صورت انجام این نوع کارها نتنها از دید ما امری ناپسند و بی ارزش است، بلکه از دید ربات های خزنده و جستجوگر نیز نامطلوب شمرده می شود، اگر آنها به صفحه ای برخورد کنند که قبلا محتوای آن را ایندکس کرده اند، به دید یک کپی به آن نگاه خواهند کرد و بدترین حالت زمانی است که قبل از ایندکس مطلب اصلی به کپی و بدل آن برسند! البته در دراز مدت نهایتا با معیارهایی خواهند فهمید که کدام سایت یا وبلاگ در حال سرقت بی سر و صدای مطالب و زحمات دیگری است و عواقب این کار دامن آن سایت یا وبلاگ را خواهد گرفت (در بدترین حالت موجب حذف کامل آن سایت یا وبلاگ از لیست جستجو خواهد شد)، نتیجه اینکه نه مطالب دیگران را بدون درج منبع و لینک مستقیم کپی کنیم و نه اجازه دهیم مطالبمان را بی زحمت و راحت مورد سوء استفاده قرار دهند (البته حالت اخیر تا حدود زیادی بستگی به وجدان و شخصیت طرف مقابل دارد)، اما می توان اقداماتی نیز انجام داد، مثلا از متاتگ copyright استفاده کرد.

<meta name="copyright" content="(c) 2012 https://webgoo.ir" />

یا عباراتی را مبنی بر کسب اجازه از نویسنده مطلب و درج لینک را در قسمت فوتر سایت قرار داد و یا حتی اجاز کپی برداری را به راحتی به کاربران نداد (البته این کار توصیه نمی شود)، ولی در مجموع ممانعت از این کار بیش از اینکه به شما بستگی داشته باشد به کاربران و شخصیت آنها بستگی دارد، چرا که با همه ی این تفاسیر باز ممکن است مطالبتان به صورت غیر مجاز کپی برداری شود.

امکانات گوگل برای وبمسترها

در پایان این مطلب بد نیست یکی از کاربردی ترین ابزارهای وب برای وبمسترها را معرفی کنیم، این ابزار، سرویس وبمستر گوگل است که با داشتن یک حساب جی میل به راحتی می توانید از آن در آدرس زیر استفاده کنید.

http://www.google.com/webmasters

امکانات بسیار خوبی در این سرویس توسط گوگل ارائه می شود که حتما یک وب نویس حرفه ای باید نیم نگاهی به آنها داشته باشد.
توجه کنید که داشتن مطالب تکراری به معنی عیبی بزرگ و غیر قابل حل نیست، اما نداشتن و به حداقل رسانیدن این موارد، کمکی بزرگ است برای اینکه زحماتتان هر چه موثرتر به ثمر بنشیند و بازدهی کارتان بیشتر شود.