آموزش ساخت نقشه XML سایت (Sitemap) با PHP و MySQL

یکی از ملزومات مورد نیاز مدیران وب معرفی اطلاعات آدرس های URL وبسایت، وبلاگ و... به صورت دستی بندی شده و دقیق به موتورهای جستجو است تا این موتورها به راحتی و با دقت بیشتر بتوانند کل صفحات موجود در یک آدرس اینترنتی را پیدا کرده و پوشش دهند، بدین منظور پروتکلی تعریف شده تحت عنوان Sitemap که در آدرس رسمی sitemaps.org با جزئیات در دسترس است، این پروتکل به وبمسترها اجازه می دهد تا آدرس های URL خود را در یک فایل XML قرار داده و به تناوب محتوای آن را به روزرسانی نمایند، با توجه به اینکه معمولا تعداد صفحات یک پایگاه اینترنتی همواره در حال تغییر و به روزرسانی است، ثبت دستی این تغییرات در فایل XML عملا گزینه مناسبی نبوده و بسیار وقتگیر و خسته کننده خواهد بود، ضمن اینکه احتمال بروز اشتباه نیز بالا خواهد رفت، از این رو در آموزش پیش رو ضمن ارائه اطلاعاتی در خصوص نقشه XML سایت، نحوه ساخت و به روزرسانی داینامیک آن با کدهای PHP و پرس و جوی MySQL را نیز به صورت نمونه توضیح خواهیم داد.
XML چیست و چرا در نقشه سایت استفاده می شود؟
XML (مخفف eXtensible Markup Language) زبان نشانه گذاری برای انتقال اطلاعات بین دستگاه های مختلف و یک استاندارد فراگیر است، XML قابل استفاده برای ماشین و قابل خواندن و درک توسط انسان است و این قابلیت وجود دارد تا با ساده ترین متد ممکن در تگ های مختلف نقشه XML سایت مواردی مانند آدرس صفحه، دوره به روزرسانی، تاریخ آخرین تغییرات، اولویت آدرس ها و... را برای هر URL به صورت جداگانه مشخص کنیم، لذا پروتکل Sitemap این زبان را برای ایجاد نقشه سایت مناسب دیده و در نظر گرفته است.
شیوه نگارش (Syntax) نقشه XML سایت
شیوه نگارش (Syntax) یک نقشه XML سایت در حالت کلی و برای نمونه به شکل زیر است:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.example.com</loc>
</url>
<url>
<loc>http://www.example.com/?link=2</loc>
</url>
</urlset>
توضیح:- رمزگذاری (encoding) نقشه XML سایت باید به صورت UTF-8 باشد که در خط اول دستورات آن را تنظیم می کنیم.
- sitemaps.org آدرس سایت رسمی پروتکل نقشه XML سایت است، در شروع تگ urlset آن را به عنوان پروتکل مرجع قرار می دهیم.
- هر نقشه XML سایت باید با یک تگ urlset شروع و پایان یابد، در واقع تگ urlset برای هر نقشه سایت، تنها یک بار تکرار می شود.
- لینک ها و اطلاعات آنها در تگ url و به تعداد مورد نیاز قرار می گیرند، ترجیحا لینک ها را از بالاترین سطح تا پائین ترین سطح در تگ های url مرتب کنید، به طور مثال بخش ها را ابتدا و زیرمجموعه ها را در سطح های پائین تر قرار دهید.
- برای آدرس هایی که در سایت شما به اسلش (/) ختم می شوند، در نقشه سایت نیز باید حتما اسلش را در پایان آدرس URL قرار دهید، در غیر اینصورت نیازی به این کار نیست و توصیه نیز نمی شود، در واقع باید آدرس ها را به همان شکلی وارد کنید که در سایتتان استفاده می کنید.
- از به کار بردن کاراکترهای &, ', ", > و < در آدرس لینک ها خودداری کنید و به جای آنها از جایگزین HTML استفاده نمائید، در PHP با توابعی مانند htmlspecialchars می توان کاراکترهای خاص را به مقادیر HTML آنها تبدیل کرد.
ایجاد نقشه XML سایت به صورت داینامیک با PHP و MySQL
معمولا تعداد لینک های سایت های امروزی به چند مورد محدود نیست و همواره با تغییراتی افزایشی همراه است، از این جهت به روزرسانی دستی فایل XML امری بسیار زمانبر و با ضریب بروز اشتباه بالا خواهد بود و به همین جهت برای مدیریت و به روزرسانی نقشه XML سایتمان باید از زبان های سمت سرور و از جمله PHP و سیستم مدیریت پایگاه داده MySQL استفاده کنیم، در کد زیر ما اطلاعات فرضی را از پایگاه داده فراخوانی کرده و برای هر مطلب، لینک آن را به نقشه سایتمان اضافه و در پایان لینک ها را در یک فایل با نام sitemap.xml کپی می کنیم:
<?php
//ابتدا یک فایل با نام sitemap.xml بسازید.
//فایل را دریافت کرده و یک بار محتویات آن را پاک می کنیم
$file = "sitemap.xml";
//تنظیم مجوز های ویرایش
chmod($file, 0755);
//استفاده از متد w+
$file_handle = fopen($file, 'w+')
or die("خطا: سطح دسترسی برای ویرایش فایل در سرور تنظیم نیست!");
//متغیر با مقادیر خالی
$empty = "";
//نوشتن در فایل
$string_data = $empty;
fwrite($file_handle, $string_data);
fclose($file_handle);
//باز کردن مجدد فایل
$file = "sitemap.xml";
chmod($file, 0755);
//این بار با متد a
$file_handle = fopen($file, 'a') or die("خطا: سطح دسترسی برای ویرایش فایل در سرور تنظیم نیست!");
$start = "<?xml version='1.0' encoding='UTF-8'?>
<urlset xmlns=\"http://www.sitemaps.org/schemas/sitemap/0.9\">\n";
//نوشتن فایل با متد a
$string_data = $start;
fwrite($file_handle, $string_data);
//صفحه نخست
$home = "<url><loc>http://example.com</loc></url>\n";
//نوشتن
$string_data = $home;
fwrite($file_handle, $string_data);
//قبل از اتصال به پایگاه داده باید اطلاعات اتصال را تعریف کنید
$conn = mysqli_connect("localhost", "db_user", "db_pass", "db_name");
if(!$conn){
echo "Error!: " . mysqli_connect_errno() . ' - ' . mysqli_connect_error();
} else{
//دریافت اطلاعات پست ها از دیتابیس و تبدیل به لینک
$result = mysqli_query($conn, "SELECT * FROM posts ORDER BY rank ASC") or die(mysqli_error($conn));
while($row = mysqli_fetch_array($result)){
$id = $row['id'];
$url = "<url><loc>http://example.com/?id=$id</loc></url>\n";
//نوشتن
$string_data = $url;
fwrite($file_handle, $string_data);
}
}
//بستن نقشه سایت
$end = "</urlset>";
//نوشتن
$string_data = $end;
fwrite($file_handle, $string_data);
fclose($file_handle);
//پایان اتصال
mysqli_close($conn);
?>
توضیح:- فایلی با نام sitemap.xml ترجیحا در ریشه سایت بسازید.
- در کد بالا ابتدا بعد از فراخوانی فایل یک بار با متد +w محتویات آن را پاک سازی می کنیم (این کار برای جلوگیری از تکرار لینک ها در هر بار به روزرسانی نقشه XML سایتمان است).
- مجدد فایل را این بار با متد a فراخوانی کرده و اطلاعات جدید را در آن می نویسیم (فرق متد a و +w در این است که متد a به محتویات کنونی فایل خللی وارد نمی کند و در انتهای مقادیر موجود، مقادیر جدید را اضافه می کند اما متد +w فایل را خالی کرده و مجدد می نویسد).
- در نمونه کد بالا اطلاعات را از جدولی فرضی به نام posts دریافت کرده و برای هر مطلب یک لینک به خروجی می دهیم، توجه داشته باشید که اکستنشن استفاده شده در کد mysqli است که قاعدتا می تواند بر اساس نیاز خود از PDO نیز استفاده کنید.
- لینک های ما باید استاندارد HTML باشند و لذا استفاده از کارکترهای خاص &, ', ", > و < در آدرس لینک ها مجاز نمی باشد، توابعی مانند htmlspecialchars در PHP در این مورد کاربرد دارند.
- برای آپدیت مرتب نقشه XML سایت می توانیم به عنوان مثال آن را به کدهای صفحه ای که مطالبمان را از آن ارسال می کنیم اضافه کرده تا با هر بار ارسال مطلب جدید، اطلاعات فایل sitemap.xml نیز به روز رسانی شود، قاعدتا برای اعمال این حالت باید کمی برنامه نویسی سمت سرور (مانند PHP) مرتبط با CMS مورد استفاده بلد باشیم.
استفاده از نقشه XML سایت به لینک های معمول محدود نمی شود، محتویات دیگر صفحات وب از جمله تصاویر، ویدئوها، اخبار و... را نیز می توان در Sitemap گنجاند:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:image="http://www.sitemaps.org/schemas/sitemap-image/1.1"
xmlns:video="http://www.sitemaps.org/schemas/sitemap-video/1.1">
<url>
<loc>http://www.example.com/</loc>
<image:image>
<image:loc>http://example.com/imagename.jpg</image:loc>
</image:image>
<video:video>
<video:content_loc>http://www.example.com/videofilename.flv</video:content_loc>
<video:player_loc allow_embed="yes" autoplay="ap=1">http://www.example.com/videoplayer.swf?video=videofilename</video:player_loc>
<video:thumbnail_loc>http://www.example.com/thumbs/videofilename.jpg</video:thumbnail_loc>
<video:title>عنوان ویدئو</video:title>
<video:description>توصیف ویدئو</video:description>
</video:video>
</url>
<url>
<loc>http://www.example.com/?link=2</loc>
</url>
</urlset>
افزودن تاریخ و اطلاعات بیشتر به Sitemap
علاوه بر تگ <loc> که آدرس لینک ها را در آن قرار می دهیم، از چند تگ (اختیاری) دیگر نیز می توانیم در نقشه XML سایت خود استفاده کنیم، از جمله <lastmod> برای نمایش تاریخ ایجاد یا به روز رسانی لینک، <changefreq> که دوره تغییر یک لینک را مشخص می کند و <priority> که میزان اهمیت آن را نسبت به سایر لینک ها نشان می دهد.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.example.com</loc>
<lastmod>2012-03-20</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://www.example.com/?link=2</loc>
<lastmod>2012-02-18T21:45:19+03:30</lastmod>
<changefreq>weekly</changefreq>
<priority>1</priority>
</url>
</urlset>
توضیح:- فرمت مقادیر تگ <lastmod> می تواند به صورت تاریخ ساده یا تاریخ همراه زمان و اختلاف زمانی باشد (در مثال بالا از هر دو روش استفاده کرده ایم).
- تگ <changefreq> می تواند مقادیری مانند ماهیانه (monthly)، هفتگی (weekly)، ساعت به ساعت (hourly)، روزانه (daily)، سالیانه (yearly)، همیشگی (always) و یا هرگز (never) داشته باشد که نشان دهنده چرخه حدودی تغییرات آن لینک است.
- تگ <priority> میزان اهمیت لینک را مشخص می کند، این مقدار می تواند به ترتیب از کم اهمیت ترین (0.0) تا پراهمیت ترین (1.0) در نوسان باشد.
اطلاعات تکمیلی در خصوص نقشه XML سایت را می توانید در سایت رسمی آن مشاهده کنید:
sitemaps.org

نمایش آمار بازدیدها با PHP بدون استفاده از دیتابیس
ساخت منوی هوشمند با PHP و CSS
تبدیل تاریخ میلادی، شمسی با مبدل JDF در PHP
ارسال پارامتر به URL و دریافت مقادیر با PHP
نحوه نمایش متن و تصاویر اتفاقی در PHP و MySQL


اول تشکر میکنم از سایت خوبتون
من یه مشکلی دارم با سایت مپ ها ساخته شده، این سایت مپ ها بعد از ارسال 10000 رکورد ارور میدن !
میخواستم بدونم راهی هست که بشه به طور مثال هر 9000 مطلب رو توی یه سایت مپ بریزه ؟
یا روشی باشه که سایت مپ کرش نکنه و خراب بشه !
حتی افزونه های حرفه ای وردپرس هم این مشکل رو دارن ، توی نظرات دیدم یک نفر دیگه هم این سوال رو داشت ! اگه امکانش هست یه سورس برای ما مبتدی ها بزارید خیلی عالی میشه !
$result = mysqli_query($conn, "SELECT * FROM posts ORDER BY rank ASC")
or die(mysqli_error($conn));
while($row = mysqli_fetch_array($result)){
$id = $row['id'];
$url = "<url><loc>http://example.com/?id=$id</loc></url>\n";
//نوشتن
$stringData = $url;
fwrite($fileHandle, $stringData);
}
آیا فید خوان RSS نیز در سئو و معرفی هرچه بهتر سایت یا وبلاگ به موتورهای جستجو تاثیری دارد یا خیر ؟
یه سوال دیگه وقتی آدرس سایت مثلا سایت شما webggo.ir در گوگل سرچ میشه اولین جستجو صفحه اصلی سایت شما همراه با چندتا لینک که به صورت زیر مجموعه از قسمتهای مختلف سایت نشون داده میشه تو سرچ اکثر سایتها این مورد رو مشاهده کردم حالا از کجا باید این لینک های جانبی رو به گوگل معرفی کنیم توی نقشه سایت که discreption نداریم
توی سرچ یاهو هم خود یاهو مینویسه که این سایت discreption نداره از کجا باید بهش داد شما از کجا دادین؟
- رعایت اصول SEO در کل سایت و وجود ساختار یکتا برای لینک ها (به طور مثال وجود دسته بندی ها و...).
- ثبت سایت در ابزار وبمستر سایت های گوگل و بینگ در آدرس های زیر:
https://www.google.com/webmasters
www.bing.com/toolbox/webmaster
- وجود و معرفی نقشه XML سایت به موتورهای جستجو تا حدی که ساختار اصلی سایتتان در آن تعریف شده باشد.- کسب اعتبار برای سایت از طریق انتشار مطالب یکتا و به روزرسانی متناوب، در نتیجه لینک شدن سایت شما توسط دیگران، انتشار لینک های مطالب سایت در شبکه های اجتماعی، افزایش رنک، رتبه الکسا و... (موتورهای جستجو به این موضوع اهمیت زیادی می دهند و تنها سایت هایی که از دید آنها بر اساس بازخورد مخاطبان اعتبار دارند را در هنگام جستجو به صورت ساختاری نمایش می دهند).
شما توی نقشه سایت خودتون (webgoo) کاراکترها رو UTF8 نکردین لذا وقتی مستقیما نقشه سایت شما رو باز میکنیم کاراکترهای فارسی به صورت یونیکد هستن
حالا من موقع خوندن دیتاها از دیتابیس
SET NAMES UTF8
رو میزنم و توی نقشه سایت خودم www.pcenter.ir
کلیه لینکهای مربوط به کاراکترهای فارسی یونیکد نیستن و درست نمایش داده میشن سوالم اینه که نمایش کاراکترهای فارسی به صورت یونیکد توی سایت مپ واسه تشخیص بهتر توسط گوگل تاثیر داره یا نه؟- برای تبدیل جهت استفاده در فرم های وب از توابع
urlencode/urldecode
- برای تبدیل جهت استفاده در آدرس های URL از توابع rawurlencode/rawurldecode
نکته: urlencode تبدیل را سازگار با application/x-www-form-urlencoded انجام می دهد (Space تبدیل به + می شود)، rawurlencode به صورت عادی عمل کرده و Space تبدیل به 20% می شود.شما منوی دسته بندی محصولات را در نظر بگیرید که محصولات 1 و 2 و 3 داخل آن هستند. با انتخاب محصول یک به صفحه category.php?id=1 میرویم و با انتخب محصول 2 به همان صفحه ولی با id 2 میرویم category.php?id=2. حالا چجوری این رو باید توی سایت مپ بنویسم؟
متشکرم.
- هدف از Sitemap صرفا کمک به موتورهای جستجو برای پیدا کردن راحت تر ساختار سایت است، لذا اگر یک صفحه داشته باشید که در آن به مطالب زیرمجموعه لینک شده باشد، درج لینک صفحه اصلی معمولا برای مطالب زیرمجموعه نیز کفایت می کند، هرچند برای اطمینان بیشتر می توان لینک مطالب را نیز به عنوان خروجی نقشه سایت در نظر گرفت.
- از نظر موتورهای جستجو اختلاف در حد شماره id نیز باعث متمایز شدن دو صفحه می گردد، به عبارتی لینک هایی که درج کرده اید اگرچه ساختاری مشابه دارند، اما به جهت متفاوت بودن id در واقع دو صفحه مجزا از سایتتان هستند و از دید ربات های جستجوگر دو محتوای متفاوت محسوب می شوند.
نتیجه اینکه اگر لینک های فوق جزء لینک های اصلی و ساختاری سایتتان هستند، در نقشه سایت درج کنید، در غیر اینصورت لینکی را درج کنید که یک سطح بالاتر از این موارد باشد.
This page contains the following errors:
error on line 16 at column 82: EntityRef: expecting ';'
Below is a rendering of the page up to the first error.
با تشکر&
تبدیل شود، در واقع در خروجی نباید کاراکترهای خاص را به صورت خام داشته باشید (در PHP تابع htmlentities در این مورد کاربرد دارد)، همچنین اگر دستورات جاوا اسکریپت را به صورت مستقیم در صفحات XHTML استفاده کنید، با چنین خطاهایی مواجه خواهید شد، رفع مشکل در این حالت استفاده از CDATA است، مثال:<script type="text/javascript">
//<![CDATA[
var elm = document.getElementById(id);
//]]>
</script>
https://www.google.com/search?q=%D9%88%D8%A8+%DA%AF%D9%88&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:en-US:official&client=firefox-a&channel=sb
آیا این هم با نقشه سایت درست شده و چه طور؟خیلی ممنون از اینکه جواب سوال های منو دادید واقعا سایت عالی دارید
فقط یه سوال دیگه هم دارم : من در این آموزش باید یک فایل به نام
sitemap.xml
داشته باشم؟ یعنی همه اون موارد بالا باید در یک فایل قرار بگیرد؟ به ترتیبی که قرار دادید؟ یک نمونه نمی تونید بذارید؟https://productforums.google.com/forum/?hl=en#!category-topic/webmasters/sitemaps/kJ-ZjeaJ3aw
منظورتونو کامل متوجه نشدم یعنی درسایت من اگر مراجعه کنید در قسمت مجموعه ها هر روز چند لینک (چند بلاگ) اضافه می شود و یعنی من اگر مثلا
http://www.talarmarkazi.com/talararak.php
را به عنوان لینک قرار دهم لینک های درون آن به گوگل معرفی نمی شوند؟ اگر بخوام محتوای آن مجموعه ها در گوگل قرار بگیرد باید تک تک آنها را هر چند روز که اضافه می شوند به نقشه خود اضافه کنم؟من قبلا از افزونه Google XML Sitemap برای سایت وردپرسی خود استفاده می کردم که در سایت مپ اصلی
site.com/sitemap.xml
چند (لینک) سایت مپ دیگر قرار داشت با همان فرمت xml که مثلا یکی مربوط به پست ها و یکی مربوط به برچسب ها و غیره بود که وقتی به گوگل معرفی می شد هم لینک های سایت و هم محتوا معرفی میشد البته اکنون سایت من php استلطفا یک توضیح کامل بدهید واقعا ممنون مطلب مفید دیگری مثل این پیدا نکردم
نتیجه: اگر تعداد لینک های زیرمجموعه ای شما خیلی زیاد است، می توانید به معرفی لینک اصلی بسنده کنید، از این بابت هیچ مشکلی در ایندکس صفحات زیرمجموعه پیش نمی آید (مگر اینکه خودتان با سایر روش ها آنها را برای ربات ها مسدود کنید).
http://webgoo.ir/section/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D9%85%D9%82%D8%AF%D9%85%D8%A7%D8%AA%DB%8C/css
که مربوط به یک دسته بندی است من چجوری می تونم لینک های موجود در اون رو روزانه قرار بدم من اگه لینک بالا قرار بدم اطلاعات و لینک های موجود در آن معرفی میشه یا باید کار دیگری کرد؟<url>
<loc>http://webgoo.ir/section/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D9%85%D9%82%D8%AF%D9%85%D8%A7%D8%AA%DB%8C/css
</loc>
<lastmod>2012-02-18T21:45:19+03:30</lastmod>
<changefreq>weekly</changefreq>
<priority>1</priority>
</url>
درسته؟با تشکر.
- آدرس هایی که قبلا ارسال و ایندکس شده اند، در دیتابیس گوگل برای سایت شما باقی می مانند (و همچنان به روز می شوند)، مگر اینکه شما آن صفحات را از سایت خود حذف کنید (و با کدهای استاندارد HTTP در پاسخ درخواست های ربات گوگل کدهای 404 و... برگردانید).
%D8%AF%D9%84%D8%A7%DB%8C%D9%84-%D8%A8%D9%87
ولی وقتی بند سایت مپ که با کمک آموزش شما ساختم کلمات فارسی به صورت معمولی نمایش داد میشه به این صورتآموزش-ساخت-نقشه-سایت
راهی هست که لینک های سایت مپ بند هم مثل سایت شما بشه ؟با تشکر
اپن کارت لینک هایی که می سازه خیلی پیچ در پیچه که طبق گفته شما برای سایت مپ و در نتیجه ایندکس شدن در گوگل مضره، حالا به نظرتون می شه آدرس ها رو با goo.gl کوتاه کنم و توی فایل سایت مپ بذارم؟!!! :D
استفاده از دامنه ای غیر از دامنه اصلی سایت توصیه نمی شود.
- به سوالات کلی، زمانبر، مبهم و مشکلاتی که تلاشی برای رفع آنها نکرده باشید پاسخ مختصر داده شده یا به بخش برنامه نویسی اختصاصی ارجاع داده می شوند.
- کدها و اسکریپت های طولانی را ترجیحا در یک صفحه وب آنلاین یا به صورت حساب موقت و آزمایشی قرار دهید تا امکان بررسی دقیق مشکل و خطایابی میسر باشد.
- تمام دیدگاه های ارسالی خوانده شده و برای هر کاربر مدت زمان لازم جهت پاسخگویی در نظر گرفته می شود، لطفا از طرح سوالات متعدد در بازه زمانی کوتاه خودداری کنید.