กำหนดลงใน ไฟล์ robots.txt
User-agent: * หมายถึงทุก Search Engine User-agent: /*Search Engine*/ Disallow: ไม่มีอะไรต่อท้าย =ให้ Search Engine ทำ Index ได้ Disallow: / = ไม่ให้ Search Engine ทำ Index ตั้งแต่ไดเร็คทอรี่ราก Disallow: /path/to =ไม่ให้ Search Engine ทำ Index ไดเร็คทอรี่ที่กำหนด Disallow: /*.ext$ =ไม่ให้ Search Engine ทำ Index ไฟล์ที่นามสกุลที่กำหนด
Ex
ทุก SE User-agent: * Disallow: / บาง SE ไม่ให้ทำการ index site (ทั้งเว็บ) User-agent: Googlebot User-agent: msnbot Disallow: / ป้องกัน บางไดเร็คทอรี่ (ไดเร็คทอรี่ path/) User-agent: * Disallow: /path บางไฟล์ User-agent: * Disallow: /path/.../page.php
การ block ใน meta ของ เพจที่เราต้องการ
<meta name="Googlebot" content="noindex, nofollow" /> <meta name="MSNbot" content="noindex, nofollow" /> ทุกบอท <meta name="robots" content="noindex, nofollow" />
การ block ในไฟล์ .htaccess , IP
และ อื่นๆ
https://www.inmotionhosting.com/support/website/security/block-unwanted-users-from-your-site-using-htaccess
http://blamcast.net/articles/block-bots-hotlinking-ban-ip-htaccess