Diễn Đàn SEO Panda - SEO Panda Forum

Diễn Đàn SEO Panda Dành Cho Các SEOers Tự Do Thảo Luận SEO - SEO Panda Forum - Free SEO Forum to share your knowledge to the world
 
HomeCalendarFAQSearchMemberlistUsergroupsRegisterLog in
Search
 
 

Display results as :
 
Rechercher Advanced Search
Latest topics

Share | 
 

 Cách Tạo file robots.txt

View previous topic View next topic Go down 
AuthorMessage
khiemsound



Posts : 1016
Points : 11650
Join date : 2012-03-27

PostSubject: Cách Tạo file robots.txt   Wed May 23, 2012 9:41 am

Tạo file robots.txt là một trong những công việc cần làm khi seo onpage . Đầu tiên chúng ta cần hiểu file robots.txt là gì ? Khi search engine crawl một website nào đó thì tập tin đầu tiên nó để ý đến là robots.txt. Vậy robots.txt là một file dạng txt có chứa các câu lệnh để định ra các thành phần với quyền hạn riêng biệt cho từng bọ tìm kiếm. Thực chất, file robots.txt là một tập tin văn bản đơn giản (không chứa mã HTML) được đặt trong thư mục gốc của website ví dụ : http://seotopvn.com/robots.txt Để tạo một file robots.txt rất đơn giản. Việc đầu tiên các bạn mở file notepad và lưu file với tên robots.txt rồi sau đó ghi các dòng lệnh với cấu trúc như sau : Nếu bạn muốn tất cả các search engine có thể index website của bạn, nhưng không được index các trang trong thư mục “cgi-bin” thì sử dụng lệnh sau: User-agent: * Disallow: /cgi-bin/ Những điều nên tránh:
Không sử dụng các chú thích trong file robots.txt, nó có thể làm cho các spider của search engine bị lầm lẫn.
Ví dụ:
“Disallow: support # Don’t index the support directory”
Không được để khoảng trắng ở đầu dòng lệnh
Ví dụ:
Không thay đổi trật tự của các dòng lệnh.
Ví dụ:
Không sử dụng quá một thư mục trong dòng lệnh Disallow.
Ví dụ:
Các search engine không hiểu định dạng trên. bạn nên viết thế này:
Phải chắc chắn các mệnh đề, từ sử dụng trong lệnh là đúng.
Ví dụ: Thư mục của bạn là “cgi-bin” (viết thường, không viết hoa), nhưng khí vào lệnh, bạn lại viết là “Cgi-Bin” thì các search engine không hiểu được.
Không nên dùng lệnh Allow trong file robots.txt
Bởi vì trong website của bạn chắc chắn sẽ có một số trang hoặc một số thành phần bạn không muốn bị người khác “nhòm ngó”. nếu bạn sử dụng lệnh Allow, tất cả mọi ngóc ngách trong website của bạn sẽ bị index. Bạn có thể kiểm tra file robots.txt của site bằng cách vào Webmaster Tools của Google (phải đăng nhập tài khoản) vào Site configuration->Crawler access. Copy nội dung file robots.txt dán vào ô đâu tiên. Nhấn vào nút Test. Kết quả sẽ hiển thị ở dưới cùng. Nguồn: SEOTOPVN.com

Download tài liệu:SEO robot.txt
Back to top Go down
View user profile
 
Cách Tạo file robots.txt
View previous topic View next topic Back to top 
Page 1 of 1
 Similar topics
-
» Sample UI Element file for google site.
» user-extensions.js file is needed
» Anybody any idea abt how to select upload file in webdriver
» Trusted File Seller Badge (TFSB)
» Create Batch file for Selenium

Permissions in this forum:You cannot reply to topics in this forum
Diễn Đàn SEO Panda - SEO Panda Forum :: Search Engine Optimization :: SEO Tools & SEO Tips-
Jump to: