Tổng quan về robots.txt cho Xenforo

Thảo luận trong 'SEO for XenForo' bắt đầu bởi VXF, 28/5/13.

1votes
5/5, 1 vote

Trang 2 của 2 trang
  1. unicorn280489

    unicorn280489 Member

    Bài viết:
    103
    Likes :
    6
    Còn nếu không cho google index web mình luôn trong 1 thời gian tạm thời thì file robot khai báo thế nào nhỉ?
    Có phải là chỉ cần cho thêm dòng: Disallow: /
    là google không index được toàn trang web không nhỉ?

    Nếu dùng <meta robots="noindex" /> trong diễn đàn xenforo thì vào file nào để thêm cái này
     
    unicorn280489, 24/7/13
    #21
  2. kenhoang

    kenhoang New Member

    Bài viết:
    16
    Likes :
    0
    chào admin, cái này là đường dẫn 1 thư mục hay 1 lần link không muốn robots truy cập vậy
     
    kenhoang, 12/9/13
    #22
  3. Ecomtopx

    Ecomtopx New Member

    Bài viết:
    6
    Likes :
    0
    làm theo file này lỗi vì ko index member
     
    Ecomtopx, 29/11/13
    #23
  4. fsdfsdf

    fsdfsdf Member

    Bài viết:
    182
    Likes :
    4
    Mã:
    User-agent: *
Disallow: /test/
Disallow: /account/
Disallow: /admin.php
Disallow: /ajax/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /forums/-/
Disallow: /forums/tweets/
Disallow: /goto/
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /pages/conduct/
Disallow: /pages/privacy/
Disallow: /posts/
Disallow: /threads/tera-tweet-from-*
Disallow: /wiki/special/

User-agent: Baiduspider
Disallow: /

User-agent: YandexBot
Disallow: /

User-Agent: Wada.vn Vietnamese Search
Disallow: /

User-Agent: coccoc
Crawl-delay: 1

User-Agent: itim
Disallow: /

User-agent: bingbot
Crawl-delay: 1
    có tối ưu ko ạ
     
    fsdfsdf, 13/12/13
    #24
  5. Ecomtopx

    Ecomtopx New Member

    Bài viết:
    6
    Likes :
    0
    că
    Chặn 1 số file cơ bản thôi, chặn gì lắm thế ạ.
     
    Ecomtopx, 24/12/13
    #25
  6. hungnv85

    hungnv85 New Member

    Bài viết:
    47
    Likes :
    2
    Những topic mà mình đã xóa trên diễn đàn những robots đã index những topic đó rồi thì làm sao để xóa đi các bác?
    Mình thấy file robots.txt của vxf ko giống như hướng dẫn của chủ thớt nữa?
     
    hungnv85, 11/1/14
    #26
  7. hocon84

    hocon84 New Member

    Bài viết:
    8
    Likes :
    0
    file robots.txt có nhiệm vụ như là cái bản đồ giúp con bọ định hướng khi thu thập dữ liệu từ website.
     
    hocon84, 17/1/14
    #27
  8. Onapthanh

    Onapthanh New Member

    Bài viết:
    38
    Likes :
    6
    Vo cung chinh xac vi no:
    Ngăn chặn search engine tìm kiếm các thông tin "rác" (không có ích về nội dung). Do SE luôn luôn có bot truy cập vào toàn bộ website của bạn để thu thập thông tin. Bằng cách sử dụng robots.txt để loại bỏ "rác", bạn sẽ giúp SE tập trung thu thập chính xác nội dung của website, giảm thiểu các index không cần thiết
     
    Onapthanh, 4/2/14
    #28
  9. tongtulenh

    tongtulenh Member

    Bài viết:
    313
    Likes :
    42

    @Alucar cho anh hỏi chút

    anh tạo file robots như thế này đã đúng chưa? anh kiểm tra seo tool thì nó báo " file robots not found"

    Đường dẫn file robots thì đúng rồi.

    File robots www.stonecare.vn: http://stonecare.vn/robots.txt

    nội dung file:
    Mã:
    User-agent: *
Sitemap: http://stonecare.vn/sitemap/sitemap.xml.gz
Disallow: /account/
Disallow: /find-new/
Disallow: /help/
Disallow: /goto/
Disallow: /login/
Disallow: /lost-password/
Disallow: /misc/style/
Disallow: /online/
Disallow: /posts/
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Disallow: /admin.php
Disallow: /index.php?account/
Disallow: /index.php?find-new/
Disallow: /index.php?help/
Disallow: /index.php?goto/
Disallow: /index.php?login/
Disallow: /index.php?lost-password/
Disallow: /index.php?misc/style/
Disallow: /index.php?online/
Disallow: /index.php?posts/
Disallow: /index.php?recent-activity/
Disallow: /index.php?register/
Disallow: /index.php?search/
Disallow: /admin.php
Allow: /
    Check giúp anh với
     
    tongtulenh, 10/2/14
    #29
  10. VXF

    VXF Be like no other .. Staff Member

    Bài viết:
    1,277
    Likes :
    2,175
    @tongtulenh Đoạn này là sao a

    Mã:
    RewriteEngine On
<IfModule mod_rewrite.c>
RewriteCond %{HTTP_USER_AGENT} ^w3af.sourceforge.net [NC,OR]
RewriteCond %{HTTP_USER_AGENT} dirbuster [NC,OR]
RewriteCond %{HTTP_USER_AGENT} nikto [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SF [OR]
RewriteCond %{HTTP_USER_AGENT} sqlmap [NC,OR]
RewriteCond %{HTTP_USER_AGENT} fimap [NC,OR]
RewriteCond %{HTTP_USER_AGENT} nessus [NC,OR]
RewriteCond %{HTTP_USER_AGENT} whatweb [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Openvas [NC,OR]
RewriteCond %{HTTP_USER_AGENT} jbrofuzz [NC,OR]
RewriteCond %{HTTP_USER_AGENT} libwhisker [NC,OR]
RewriteCond %{HTTP_USER_AGENT} webshag [NC,OR]
RewriteCond %{HTTP:Acunetix-Product} ^WVS
RewriteRule ^.* http://127.0.0.1/ [R=301,L]
</IfModule>
     
    VXF, 10/2/14
    #30
  11. Coolboyhn

    Coolboyhn Member

    Bài viết:
    503
    Likes :
    138
    Chắc lộn htaccess
     
    Coolboyhn, 10/2/14
    #31
  12. tongtulenh

    tongtulenh Member

    Bài viết:
    313
    Likes :
    42
    úi cha, giờ mới nhìn ra. đoạn này bị lộn rồi. để anh bỏ đoạn này đi xem sao/
     
    tongtulenh, 10/2/14
    #32
  13. Cho HaTinh

    Cho HaTinh Member

    Bài viết:
    101
    Likes :
    22
    cứ để nguyên bản tiếng Anh là tốt nhất, không cần dịch , lắm lỗi.
     
    Cho HaTinh, 1/6/14
    #33
  14. AC_Khanh01

    AC_Khanh01 Member

    Bài viết:
    221
    Likes :
    61
    Còn đây là diễn đàn xenforo.com luôn :
    http://xenforo.com/robots.txt

    Mã:
    User-agent: *
Disallow: /community/find-new/
Disallow: /community/account/
Disallow: /community/attachments/
Disallow: /community/goto/
Disallow: /community/posts/
Disallow: /community/login/
Disallow: /community/admin.php
Allow: /

Sitemap: http://xenforo.com/community/sitemap.php
     
    AC_Khanh01, 11/8/14
    #34
  15. vanluong2608

    vanluong2608 Member

    Bài viết:
    261
    Likes :
    25
    Cho e hỏi e muốn chặn file trong đường dẫn styles/brivium/ có phải là thêm như thế này ko
    Mã:
    Sitemap: http://htcviet.net/sitemap/sitemap.xml.gz
User-agent: *
Disallow: /account/
Disallow: /find-new/
Disallow: /help/
Disallow: /goto/
Disallow: /login/
Disallow: /lost-password/
Disallow: /misc/style/
Disallow: /online/
Disallow: /posts/
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Disallow: /admin.php
Disallow: /index.php?account/
Disallow: /index.php?find-new/
Disallow: /index.php?help/
Disallow: /index.php?goto/
Disallow: /index.php?login/
Disallow: /index.php?lost-password/
Disallow: /index.php?misc/style/
Disallow: /index.php?online/
Disallow: /index.php?posts/
Disallow: /index.php?recent-activity/
Disallow: /index.php?register/
Disallow: /index.php?search/
Disallow: /admin.php
Disallow: /styles/brivium/
Allow: /
     
    vanluong2608, 19/8/15
    #35
  16. dark

    dark New Member

    Bài viết:
    1
    Likes :
    0
    cho em hỏi là e up file robots này ngang hàng với index được ko ạ? tenmien.com/robots.txt đó ạ
     
    dark, 12/9/15
    #36
Trang 2 của 2 trang
comments powered by Disqus
: robots.txt, robots.txt xenforo, tác dụng của robots.txt, vì sao phải có robots.txt, seo, Disallow, user-agent, Crawler, SE, Search Engine, SEO Xenforo

Chia sẻ trang này

Đang tải...