Diễn Đàn SEO Panda - SEO Panda Forum

Diễn Đàn SEO Panda Dành Cho Các SEOers Tự Do Thảo Luận SEO - SEO Panda Forum - Free SEO Forum to share your knowledge to the world
 
HomeCalendarFAQSearchMemberlistUsergroupsRegisterLog in
Search
 
 

Display results as :
 
Rechercher Advanced Search
Latest topics

Share | 
 

 Web crawler - Web spider - Web robot - Googlebot

View previous topic View next topic Go down 
AuthorMessage
khiemsound



Posts : 1016
Points : 11640
Join date : 2012-03-27

PostSubject: Web crawler - Web spider - Web robot - Googlebot   Wed May 23, 2012 3:59 pm

Web Crawler, Web Spider hay Web Robot là một chương trình tự động tìm kiếm trên Internet. Nó được thiết kế để thu thập tài nguyên Internet (trang Web, hình ảnh, video, tài liệu Word, PDF hay PostScrips) , cho phép máy tìm kiếm đánh chỉ số sau đó.

Cùng phương thức, nhưng một số robots lại bị sử dụng để lượm các tài nguyên hoặc để lọc địa chỉ email.

Để đánh chỉ số các tài nguyên Web, mỗi robot sẽ đi theo các liên kết mà nó tìm thấy tại một trang trung tâm. Sau đó, mỗi trang đã duyệt sẽ được ghi nhớ lại và gán cho tần số đánh lại chỉ số dựa vào mức độ cập nhật thường xuyên hay không của trang.

Để điểu chỉnh ứng xử các robots, một tệp tin ngoại trừ (robots.txt) sẽ được đặt tại thư mục gốc của trang Web để chỉ định cho robots một danh sách những tài nguyên không được tiếp cận. Tệp tin robots.txt này còn đưa ra danh sách những bọ tìm kiếm nào được quyền đánh chỉ số trang Web. Qui tắc này cho phép giảm tải trên máy chủ và tránh đánh chỉ số những tài liệu không cần thiết hoặc nhạy cảm. Tuy nhiên có nhiều bọ tìm kiếm không tôn trọng chỉ định này, và hoàn toàn bỏ qua tệp tin ngoại trừ (robots.txt).

Một số bọ tìm kiếm phổ biến của các máy tìm kiếm :

- Googlebot của Google
- MSNBot của Bing
- Slurp của Yahoo
- Scooter của Alta Vista
- Baidu của Baidu
Back to top Go down
View user profile
 
Web crawler - Web spider - Web robot - Googlebot
View previous topic View next topic Back to top 
Page 1 of 1
 Similar topics
-
» Comic Physique?

Permissions in this forum:You cannot reply to topics in this forum
Diễn Đàn SEO Panda - SEO Panda Forum :: Search Engine Optimization :: General SEO-
Jump to: