شما بصورت پیش فرض می توانید فایل robots.txt را در root وب سایت خود اضافه کنید و متن زیر را در آن وارد کنید:
User-agent: * Disallow: /
برای اینکه crawler ها تگهای غیره ضروری را ایندکس نکنند از disallow استفاده می کنیم:
User-agent: * Disallow: /folder/copypage1.html Disallow: /folder/duplicatepages/ Disallow: *.ppt$
استفاده از تگ زیر:
<meta name="robots” content=”noindex”>
به crawler نشان می دهد تا tag ها و url هایی که در robots.txt فیلتر شده اند ایندکس نکنند.
redirect کردن خطاها بخصوص خطاهای معروف مانند 301,503,404,419,500 به صفحه ای مناسب تا مشاهده کنندگان سایت را گم نکنند.
استفاده از لینکهای داخلی بسیار به وب سایت شما کمک خواهد کرد شما لیست لینکهای داخلی سایت خود را در وب مستر در قسمت internal links می توانید مشاهده کنید.
نداشتن تداخلها آدرسها و url ها با هم بسیار مهم است. همچنین شما در sitemap می توانید url های مهم خود را به جستجو گرها نشان دهید.
اگر شما سایت چند زبانه داشته باشید می توانید با استفاده از کد زیر به جستجوگر آدرس آنها را نشان دهید:
<link rel="alternate” hreflang=”en” href=”https://www.example.com/page-A”> <link rel="alternate” hreflang=”fa” href=”https://www.example.com/page-B”>