Robots.txt là một tập tin trong thư mục gốc của website mà điều khiển con bọ truy cập vào website. Nó có thể cho phép hoặc không cho phép các con bọ cụ thể truy cập vào từng trang cụ thể trên website. Con bọ có thể bỏ qua các file robots.txt, nhưng đối với con bọ có uy tín sẽ kiểm tra và index chỉ các trang được robots.txt thừa nhận. Đáng chú ý, tất cả các công cụ tìm kiếm và Wayback Machine đều xem trong tập tin robots.txt.