اگر از کنسول جستجوی گوگل یا اپراتور جستجوی پیشرفته "site:domain.com" استفاده کرده اید و متوجه شده اید که برخی از صفحات مهم شما در فهرست گم شده اند و/یا برخی از صفحات بی اهمیت شما به اشتباه ایندکس شده اند، بهینه سازی هایی وجود دارد که می توانید انجام دهید. پیاده سازی کنید تا ربات گوگل را بهتر هدایت کنید که می خواهید محتوای وب شما چگونه خزیده شود. به سئو سایت بگویید که چگونه سایت شما را بخزند، می تواند به شما کنترل بهتری بر آنچه در ایندکس ختم می شود، بدهد.
بیشتر مردم به این فکر می کنند که مطمئن شوند گوگل می تواند صفحات مهم آنها را پیدا کند، اما فراموش کردن این موضوع آسان است که احتمالاً صفحاتی وجود دارند که نمی خواهید Googlebot آنها را پیدا کند. این موارد ممکن است شامل مواردی مانند URL های قدیمی با محتوای نازک، URL های تکراری (مانند پارامترهای مرتب سازی و فیلتر کردن برای تجارت الکترونیک)، صفحات کد تبلیغاتی ویژه، صفحات مرحله بندی یا آزمایشی و غیره باشد.
برای اینکه Googlebot را از صفحات و بخش های خاصی از طراحی سایت خود دور کنید، از robots.txt استفاده کنید.
Robots.txt
فایلهای Robots.txt در دایرکتوری اصلی وبسایتها (مثلاً yourdomain.com/robots.txt) قرار دارند و نشان میدهند که موتورهای جستجوی سایت شما کدام بخشها را باید و نباید خزیدن، و همچنین سرعت خزیدن در سایت شما را نشان میدهد. ، از طریق دستورالعمل های خاص robots.txt.
نحوه برخورد Googlebot با فایلهای robots.txt
اگر Googlebot نتواند یک فایل robots.txt برای یک سایت پیدا کند، به خزیدن در سایت ادامه می دهد.
اگر Googlebot یک فایل robots.txt برای یک سایت پیدا کند، معمولاً از پیشنهادات پیروی می کند و به خزیدن در سایت ادامه می دهد.
اگر Googlebot هنگام تلاش برای دسترسی به فایل robots.txt سایت با خطایی مواجه شود و نتواند تشخیص دهد که آیا این فایل وجود دارد یا نه، در سایت نمی خزند.
No comments:
Post a Comment