robot.txt چه است و چه کاربردی دارد
در این قسمت از سری مقالات راهنما سعو به یکی از مهمترین و البته ساده‌ترین مواردی که در سعو هر سایتی می‌تواند بسیار حیاتی و مهم باشد خواهیم پرداخت تا تمامی وب مستر ها با واژه robot.txt چه است و چه کاربردی دارد بیشتر آشنا شده و بتوانند از آن به طور مناسب استفاده نمایند.
robot.txt چه است و چه کاربردی دارد ؟
فایل Robots.txt فایلی برای گزارش ساختار پیجها وب‌سایت به ربات‌های کراولر (crawler) موتورهای سرچ است تا بتوانند متوجه شوند که کدام پیجها می‌بایست در موتورهای سرچ نشان داده شوند و کدام پیجها نشان داده نشوند. این فایل کاملا فایل دسترسی است و می‌توانید دیتا داخل آن را بخوانید و یا تغییر کنید و افراد مختلف نیز صرفا با اضافه کردن این پسوند به لینک وب سایت شما می‌توانند آن را به آسانی ببینند.
فایل Robots.txt در واقع به ربات‌ها اطلاع می‌دهد که کجا می‌توانند فایل‌های نقشه XML سایت را پیدا کنند و در این میان کدام پیجها نباید کراول شوند. قبل از اینکه ربات‌های موتورهای سرچ نظیر بینگ و یا گوگل پیجها وب را کراول کنند اول فایل Robots.txt را بررسی کرده و اگر این فایل وجود داشته باشد مطابق با دیتا نوشته شده در آن اقدام به ایندکس کردن پیجها می‌کنند.
Robots.txt در حقیقت جزو مهارت‌های اولیه به حساب می‌آید که متخصصین سعو آن را یاد می‌گیرند و یکی از صدها قسمت سعو سایت می‌باشد. اما متاسفانه توسط نادرست از این فایل در بسیاری از موارد نتایجی که از آن گرفته می‌شود یا منفی و مخرب است و یا عملا هیچ تاثیری در سعو ندارد.
به همین علت در ادامه به چندین نکته مهم در هنگام تولید این فایل خواهیم پرداخت تا شما بتوانید با در نظر گرفتن این موارد از نتایج مخرب این فایل بر روی میزبانی خود جلوگیری نمایید.
-
ریسک امنیتی فایل Robot.txt
فایل Robots.txt یک ضرورت نیست ولی یک ابزار جالب دقت است و ربات‌های موتورهای سرچ خیلی وابسته به آن هستند. اما گاهی می‌تواند به ضرر سایت‌ها تمام شود.
به طور نمونه ؛ اگر یک نفر در نظر داشته باشد به صفحاتی از وب سایت شما دسترسی پیدا کند که شما این پیجها را در فایل ربات بلاک کرده‌اید مسلماًً برای شناسایی این پیجها می‌تواند به سادگی از این فایل استفاده کند. خیلی‌ها فکر می‌کنند که از راه فایل‌های ربات ، می توانند از دیتا محرمانه خود مراقبت می‌کنند در حالی که کاملا برعکس است و برخی ربات‌ها می‌توانند از این دیتا شما سوءاستفاده کنند.
کیس‌های مختلف دیگری هم وجود دارند که در آن‌ها به علت عدم امنیت فایل‌های Robot.txt اگر به دست رقبای شما بیفتد می‌تواند به ضرر شما تمام شود. برای کاهش این خطرات چه می‌بایست کرد؟
فایل Robots.txt به شما کمک نمی‌کند تا یک URL را از ایندکس موتورهای سرچ پاک کنید و همچنین از موتورهای سرچ در برابر اضافه کردن یک URL جلوگیری نمی‌کند. پس فایل ربات صرفاً برای جلوگیری از کراول نیست و موتورهای سرچ در هر صورت پیجها شما را ایندکس و کراول می‌کنند اما با فایل ربات به آن‌ها اطلاع می‌دهید که این پیجها را در نتایج سرچ نشان ندهد.
-
در استفاده از Nofollow و Disallow به طور همزمان خیلی مراقب باشید.
در چند گزینه نادر که در یک پیج همزمان از تگ‌های نوفالو و ربات دیس‌آلو استفاده می‌شود احتمال دارد مشکلاتی به وجود بیاید. به طوری که اگر به طور همزمان استفاده شود گوگل در نتایج سرچ چنین پیغامی را نشان می‌دهد که «توضیحی برای این پیج در دسترس نیست» و در کارکرد کلی سایت شما تاثیر می‌گذارد. می‌بایست توجه داشته باشید که پیجها شما همزمان از این دو تگ و ربات استفاده نکنند تا پیجها به درستی به موتورهای سرچ معرفی شوند.
-
برای پیجها محرمانه اما قابل دسترسی از Noindex استفاده کنید.
- اگر از تگ Noindex استفاده کنید مستقیما به ربات‌های کراولر اعلام می‌کنید که این پیج نباید در نتایج سرچ نشان داده شود. یعنی کراولر پیج شما را کراول و شناسایی می‌کند اما حق ندارد محتوای شما را در نتایج نمایش دهد. این گزینه برای پیجها محرمانه با دسترسی عمومی بسیار بهتر است. برای صفحاتی محرمانه‌ای که نباید بصورت عمومی نشان داده شوند ساخت رمزعبور و یا شناسایی ایپی توصیه می‌شود. از Disallow برای مسیرها استفاده کنید نه پیجها ویژه
با فهرست کردن برخی پیجها ویژه و استفاده از Disallow در حقیقت شما به ربات‌های مخرب و هکرها می‌گویید که این پیجها سایت مهم هستند و نباید به آن‌ها دسترسی پیدا کنید و آن‌ها به سادگی این پیجها را پیدا می‌کنند. اما اگر مسیرها و دایرکتوری‌ها را Disallow کنید این ربات‌ها صرفاً می‌توانند پیج دایرکتوری را ببینند و امکان دیدن سایر پیجها وجود ندارد. دقت داشته باشید که یقینا از یک پیج ۴۰۴ یا پیجها مشابه برای دایرکتوری‌هایی که قرار نیست ایندکس شوند اما وجود دارند ، استفاده نمایید.
جمع بندی
فایل Robots.txt یک ابزار بسیار حیاتی و مهم برای سعو سایت می‌باشد و اگر نتوانید به درستی آن را خرید و استفاده کنید احتمال دارد در امنیت سایت شما تاثیر منفی داشته باشد. اما اگر اصول و قواعد و فن‌های آن را یاد بگیرید می‌توانید به سادگی از آن برای افزایش کارایی وب سایت خود استفاده کنید.
امیدواریم در تکمیل از مطلب robot.txt چه است و چه کاربردی دارد استفاده لازم را برده باشید.
کاربر گرامی شما می‌توانید سؤالات مربوط به این راهنما را در قسمت کامنت‌ها عنوان کرده و در همین بخش جواب خود را دانلود کنید و یا برای حل مشکلات دیگر در زمینه راهنما‌های آذرآنلاین به قسمت Community مراجعه کرده و مشکل خود را در آن مطرح نمایید تا در اسرع وقت یوزر ها دیگر و کارشناسان به سؤالات شما جواب دهند.