Apa itu Robots.txt Generator?
Robots.txt generator adalah tool gratis yang dapat digunakan untuk mempermudah dalam membuat konfigurasi pada file robots.txt di blog atau website.
Robots.txt generator dari Blog bungfrangki telah dilengkapi segala perintah yang penting dan dapat dikonfigurasi seperlunya untuk membuat file robots.txt, seperti mengatur user-agent, memasukkan path atau link sitemap, menentukan izin akses (allow atau disallow) pada tiap-tiap crawler / mesin pencarian, hingga mengatur crawl-delay dan lain sebagainya.
Cara Menggunakan Robots.txt Generator
Adapun cara membuat file robots.txt menggunakan tool Robots.txt Generator ini adalah sebagai berikut:- Buka Halaman Robots.txt Generator
- Pilih Izin Akses Untuk Robot Default
- Atur Penundaan Crawl (Crawl Delay)
- Masukkan Sitemap (Jika Ada)
- Tambahkan Directive Dalam Robots.txt
- Atur Izin Akses
- Pilih User-Agent
- Masukkan Direktori / Path File
- Klik Create Robots.txt
- Salin atatu copy kode Robots.txt dengan klik tombol Copy to Clipboard
- Paste ke file robots.txt untuk website Anda
Posting Komentar