• May 13, 2018

    กำหนดลงใน ไฟล์ robots.txt

    User-agent: * หมายถึงทุก Search Engine
    User-agent:  /*Search Engine*/
    Disallow: ไม่มีอะไรต่อท้าย =ให้ Search Engine ทำ Index ได้
    Disallow: / = ไม่ให้ Search Engine ทำ Index ตั้งแต่ไดเร็คทอรี่ราก
    Disallow: /path/to =ไม่ให้ Search Engine ทำ Index ไดเร็คทอรี่ที่กำหนด
    Disallow: /*.ext$ =ไม่ให้ Search Engine ทำ Index ไฟล์ที่นามสกุลที่กำหนด

    Ex

    ทุก SE
    User-agent: *
    Disallow: /
    
    บาง SE ไม่ให้ทำการ index site (ทั้งเว็บ)
    User-agent: Googlebot
    User-agent: msnbot
    Disallow: /
    
    ป้องกัน บางไดเร็คทอรี่ (ไดเร็คทอรี่ path/)
    User-agent: *
    Disallow: /path
    
    บางไฟล์
    User-agent: * 
    Disallow: /path/.../page.php
    

    การ block ใน meta ของ เพจที่เราต้องการ

    <meta name="Googlebot" content="noindex, nofollow" />
    <meta name="MSNbot" content="noindex, nofollow" />
    
    ทุกบอท
    <meta name="robots" content="noindex, nofollow" />

    การ block ในไฟล์ .htaccess , IP

    และ อื่นๆ

    https://www.inmotionhosting.com/support/website/security/block-unwanted-users-from-your-site-using-htaccess
    http://blamcast.net/articles/block-bots-hotlinking-ban-ip-htaccess



เวอไนน์ไอคอร์ส

ประหยัดเวลากว่า 100 เท่า!






เวอไนน์เว็บไซต์⚡️
สร้างเว็บไซต์ ดูแลเว็บไซต์

Categories