Robots.txt არის ტექსტური ფაილი, რომელიც ინახება თქვენი ვებსაიტის ძირეულ კატალოგში და სადაც მითითებულია, თუ რომელ გვერდებზე შეუძლიათ საძიებო ბოტებს წვდომა და რომლებზე არა. ეს ფაილი არის როგორც ესკიზი, რომელიც აჩვენებს საძიებო სისტემებს, თუ როგორ უნდა დაინდექსონ თქვენი ვებსაიტი.
რატომ არის მნიშვნელოვანი robots.txt?
- კონტენტის კონტროლი: გაძლევთ საშუალებას დამალოთ არასასურველი გვერდები საძიებო სისტემებისგან.
- რესურსების დაზოგვა: შეგიძლიათ შეზღუდოთ ბოტების წვდომა არასაჭირო გვერდებზე, რაც შეამცირებს სერვერის დატვირთვას.
- პარამეტრების დაყენება: შეგიძლიათ დააყენოთ სხვადასხვა პარამეტრები, როგორიცაა crawl rate (რა სიხშირით შეუძლია ბოტებს თქვენი საიტის სკანირება) და სხვა.
Robots.txt ფაილის ძირითადი დირექტივები
- User-agent: ამ დირექტივით მითითებულია, თუ რომელ საძიებო ბოტს ეხება შემდეგი დირექტივები. მაგალითად:
User-agent: Googlebot - Disallow: ამ დირექტივით აკრძალულია საძიებო ბოტისთვის წვდომა კონკრეტულ გვერდზე ან დირექტორიაში. მაგალითად:
Disallow: /admin/ - Allow: ამ დირექტივით ნებადართულია საძიებო ბოტისთვის წვდომა კონკრეტულ გვერდზე ან დირექტორიაში. მაგალითად:
Allow: /images/ - Sitemap: ამ დირექტივით მითითებულია sitemap.xml ფაილის მდებარეობა. მაგალითად:
Sitemap: https://www.example.com/sitemap.xml - Crawl-delay: ამ დირექტივით შეგიძლიათ დააყენოთ მინიმალური შუალედი ბოტების მოთხოვნებს შორის. მაგალითად:
Crawl-delay: 10
Robots.txt ფაილის მაგალითი
User-agent: *
Disallow: /admin/
Disallow: /cgi-sys/
Disallow: /scripts/
Allow: /images/
Sitemap: https://www.example.com/sitemap.xml
ამ მაგალითში ყველა საძიებო ბოტს აკრძალული აქვს წვდომა /admin/, /cgi-sys/ და /scripts/ დირექტორიებზე. ნებადართულია წვდომა /images/ დირექტორიაზე. ასევე მითითებულია sitemap.xml ფაილის მდებარეობა.
მნიშვნელოვანი შენიშვნები
- Robots.txt არ არის უსაფრთხოების ინსტრუმენტი: თუ გსურთ დაიცვათ კონფიდენციალური ინფორმაცია, გამოიყენეთ სხვა მეთოდები.
- საძიებო სისტემები შეიძლება არ დაიცვან robots.txt-ს: ზოგიერთ შემთხვევაში, საძიებო სისტემები შეიძლება მაინც დაინდექსონ გვერდები, რომლებიც აკრძალულია robots.txt-ით.
- რეგულარულად შეამოწმეთ: დროთა განმავლობაში შეიძლება დაგჭირდეთ robots.txt ფაილის შეცვლა.
დამატებითი რჩევები
- გამოიყენეთ ონლაინ ინსტრუმენტები: არსებობს მრავალი ონლაინ ინსტრუმენტი, რომელიც დაგეხმარებათ robots.txt ფაილის შექმნაში და შემოწმებაში.
- იყავით ზუსტი: დარწმუნდით, რომ ყველა დირექტივა სწორად არის დაწერილი.
- შეამოწმეთ შეცდომები: შეამოწმეთ robots.txt ფაილი შეცდომებზე, რადგან ერთმა შეცდომამაც შეიძლება გამოიწვიოს პრობლემები.
