Other Cấu trúc file Robots.txt tốt cho SEO 2014

- Sau khi tìm tòi vọc vạch tôi đã áp dụng file robots.txt như thế này mọi người có thể tham khảo. Nếu tôi sai gì mọi người góp ý. Cấu trúc file như sau:

Mã:

User-agent: *
Disallow: /account/
Disallow: /find-new/
Disallow: /help/
Disallow: /goto/
Disallow: /login/
Disallow: /lost-password/
Disallow: /misc/style/
Disallow: /online/
Disallow: /posts/
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Disallow: /admin.php
Disallow: /index.php?account/
Disallow: /index.php?find-new/
Disallow: /index.php?help/
Disallow: /index.php?goto/
Disallow: /index.php?login/
Disallow: /index.php?lost-password/
Disallow: /index.php?misc/style/
Disallow: /index.php?online/
Disallow: /index.php?posts/
Disallow: /index.php?recent-activity/
Disallow: /index.php?register/
Disallow: /index.php?search/
Disallow: /admin.php
Allow: /

- Tạo file robots.txt rồi chéo nội dung như trên và chép trực tiếp lên root.

 

Không ai hồi đáp phát xem thế nào nhỉ

 

Cái này trên diễn đàn có rồi mà

 

Hehe chưa ai làm chuột bạch nhỉ?

 

lấy hàng của vxf cho chắt đã trải qua thực nghiệm lâm sàn

 

Site mình sử dụng lâu rồi.
Với lại vxf cũng có lâu rồi mà.
http://vxf.vn/robots.txt

 

Dùng file robots.txt rắc rối hơn mọi người nghĩ nhiều:
1. Ở Việt Nam, Google chiếm hơn 95% thị phần tìm kiếm.
2. Có hàng trăm, hàng nghìn bot sục sạo trang web của bạn, làm hao tổn tài nguyên hệ thống, băng thông.
3. Tần suất săn lùng để index nội dung của bot search cũng phải phù hợp.

Nên mình chỉ để mỗi bot của Google lại thôi, và thiết lập để 3 giây mới index 1 trang web (do ít nội dung mà )

Gửi anh em file robots.txt tham khảo:

Mã:

User-agent: Googlebot
Crawl-delay: 3
Disallow: /test/
Disallow: /account/
Disallow: /admin.php
Disallow: /attachments/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /goto/
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /posts/
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Disallow: /sxd/


Disallow: /find-new/
Disallow: /help/
Disallow: /misc/style/
Disallow: /online/
Disallow: /posts/
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Disallow: /admin.php
Disallow: /index.php?account/
Disallow: /index.php?find-new/
Disallow: /index.php?help/
Disallow: /index.php?goto/
Disallow: /index.php?login/
Disallow: /index.php?lost-password/
Disallow: /index.php?misc/style/
Disallow: /index.php?online/
Disallow: /index.php?posts/
Disallow: /index.php?recent-activity/
Disallow: /index.php?register/
Disallow: /index.php?search/

Disallow: /ajax/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /forums/-/
Disallow: /forums/tweets/
Disallow: /goto/
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /pages/conduct/
Disallow: /pages/privacy/
Disallow: /posts/
Disallow: /threads/tera-tweet-from-*
Disallow: /wiki/special/

User-agent: *
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: YandexBot
Disallow: /

User-Agent: Wada.vn Vietnamese Search
Disallow: /

User-Agent: coccoc
Disallow: /

User-Agent: itim
Disallow: /

User-agent: bingbot
Disallow: /

User-agent: W3C-checklink
Disallow: /

User-agent: peerbot
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: Googlebot-Image
Disallow: /

User-agent: psbot
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: sitecheck.internetseer.com
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: FreeFind
Disallow: /

User-agent: MondoSearch
Disallow: /

User-agent: Spiderline
Disallow: /

User-agent: fusionbot
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: NPBot
Disallow: /

 

File của bác dài quá liệu có ổn không bác, chặn bot nhiều quá em nghĩ không tốt lắm bác à

 

Chọn Bot mà chơi bác à!

 

Là sao hả bác. Bác nói rõ cho em hiểu hơn được không ạ.

 

Bác dùng Xen ver mấy vậy? (em thấy file robots.txt của bác có đoạn:
Sitemap: http://sccn.vn/sitemap/sitemap.xml.gz nếu dùng xen 1.4.x thì nên thay đoạn sitemap cũ thành:
Sitemap: http://sccn.vn/sitemap.php rồi add link đó thêm vào tài khoản Google Analytics để tận dụng tiện ích có sẵn của xen 1.4.x bác nhé.

- Tùy băng thông Host hay VPS bác mà cho bot vào giống bác ở trên tư vấn đó bác, nhiều bot vào thì nhanh hết băng thông, cho bot Google chẳng hạn là được rồi.

- File của bác kia chỉ tham khảo thôi, tùy nhu cầu mà chỉnh lại (như cái: Disallow: /test/ và Disallow: /sxd/ chẳng hạn...
Thân!

 

Em dùng 1.3.4 bác à. Vẫn chưa nâng cấp được bác ơi .

 

Cứ thế up lên host là đươc à bác @vandieutot ? Hay có chỉnh ở đâu nữa không?

 

Cứ thế up lên host là được nhé bác

 

Góp ý cho bạn xíu nhé, trước tiên bạn phải nắm rõ files robots.txt là gì, nó có tác dụng gì, và sử dụng nó thế nào, thì bạn sẽ build 1 cấu trúc allow và disallow oke thôi,

https://www.google.com.vn/search?q=...fficial&channel=nts&q=hieu+them+ve+robots.txt

 

Vâng em cám ơn bác. Mới mới ovjc có mấy ngày nên còn gà lắm bác à

 

Cái này cũng tùy mỗi người thôi bác ạ nếu server bác mạnh thì cứ để bot search tung hoành

 

Nó lộ thông tin cá nhân lên trên đâm ra mất hay bác à.