Robots.txt Generator

SEO (Search Engine Optimization)

Robots.txt Generator


Default - Semua Robot adalah:  
    
Crawl-Delay:
    
Peta Situs: (biarkan kosong jika tidak ada) 
     
Search Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Direktori yang Dibatasi: Jalannya relatif terhadap akar dan harus berisi garis miring "/"
 
 
 
 
 
 
   



Sekarang, buat file 'robots.txt' di direktori root Anda. Salin teks di atas dan tempelkan ke file teks.


Tentang Robots.txt Generator

Apa Generator Robots.txt?
Generator Robots.txt menghasilkan file yang sangat berlawanan dengan peta situs yang mengindikasikan halaman yang akan disertakan, oleh karena itu sintaks robots.txt sangat penting untuk situs web manapun. Setiap kali mesin pencari merayapi situs web manapun, ia selalu mencari file robots.txt yang terletak pada tingkat akar domain. Saat diidentifikasi, crawler akan membaca file tersebut, lalu mengidentifikasi file dan direktori yang mungkin diblokir.

Mengapa Anda Menggunakan Alat Generator Robots.txt kami?
Ini adalah alat yang sangat berguna yang telah mempermudah kehidupan banyak webmaster dengan membantu mereka membuat situs web mereka ramah Googlebot. Ini adalah alat generator file robot.txt yang dapat menghasilkan file yang dibutuhkan dengan melakukan tugas yang sulit dalam waktu singkat dan gratis. Alat kami dilengkapi dengan antarmuka yang mudah digunakan yang menawarkan pilihan untuk menyertakan atau mengecualikan hal-hal di file robots.txt.

Cara Menggunakan Alat Generator Robots.txt kami?
Dengan menggunakan alat hebat kami, Anda dapat menghasilkan file robots.txt untuk situs web Anda dengan mengikuti beberapa langkah mudah dan mudah ini:

  • Secara default, semua robot diizinkan mengakses file situs Anda, Anda dapat memilih robot yang ingin Anda izinkan atau menolak aksesnya.
  • Pilih penjelajahan-penjelajahan yang memberi tahu berapa banyak penundaan yang harus dilakukan di perayapan, memungkinkan Anda memilih antara durasi tunda yang Anda pilih dari 5 hingga 120 detik. Ini disetel ke 'tidak ada penundaan' secara default.
  • Jika sudah ada sitemap untuk situs Anda, Anda bisa menempelkannya di kotak teks. Di sisi lain, Anda bisa membiarkannya kosong, jika Anda tidak memilikinya.
  • Daftar robot pencarian diberikan, Anda bisa memilih yang ingin Anda jelajahi situs Anda dan Anda bisa menolak robot yang tidak ingin Anda jelajahi file Anda.
  • Langkah terakhir adalah membatasi direktori. Path harus berisi garis miring "/", karena pathnya relatif terhadap root.
  • Pada akhirnya, ketika Anda selesai menghasilkan file robots.txt Googlebot yang ramah dengan bantuan Robot Generator .txt Generator, Anda sekarang dapat mengunggahnya ke direktori akar situs web.

Jika Anda ingin menjelajahi alat ramah kami sebelum menggunakannya, silakan bermain dengan itu dan menghasilkan contoh robot.txt.