Kali ini saya akan memberikan tips dan sedikit tutorial mengenai cara setting robots txt bagi pengguna blogger,di tips kali ini saya hanya akan menjelaskan code code yang dapat berguna untuk mensetting robots.txt seperti yang kita inginkan untuk cara memperbaharui robots.txt yang sudah kita setting kalian dapat membacanya di artikel ini Cara memperbaharui robots.txt di blogger , sebelum kita memulai mari kita pelajari sedikit dulu tentang apa itu robots txt.
- Apa itu Robots txt
Menurut saya robots txt ada sebuah baris code yang berperan sebagai aturan bagi crawler(perayap) sebuah mesin telusur yang akan mengakses website kita dengan memberitahukan apa yang dapat dan tidak dapat mereka “crawl” dan menampilkanya di hasil mesin telusur pemilik dari crawler (perayap) tersebut.
Sedang menurut google sebagai pemilik hostingan dari blogspot yaitu blogger robots txt adalah
File yang memberi tahu crawler mesin telusur, halaman atau file mana yang dapat atau tidak dapat diminta dari situs. File ini digunakan terutama untuk menghindarkan situs Anda dari beban permintaan yang terlampau banyak; file ini bukanlah mekanisme untuk menyembunyikan halaman web dari Google.
Dan beginilah tampilan default sebuah robots.txt yang di miliki oleh blog kita
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://mmtipsdantrik.blogspot.com/sitemap.xml
Kalian dapat melihat sendiri robots txt yang di miliki blog kalian dengan cara menambahkan /robots.txt di akhir url website seperti contoh di bawah
Contoh: http://mmtipsdantrik.blogspot.com/robots.txt
Dengan kata lain robots txt merupakan file yang dibuat untuk mengatur perilaku crawler atau agent dari mesin telusur terhadap website dan konten di dalam website kita.
Baiklah langsung saja akan saya berikan penjelasan mengenai code yang terdapat di dalam default robots.txt untuk penggunaan lebih dari code code yang di berikan silakan baca artkel di bawah ini
Mencegah gambar artikel muncul di google search menggunakan robots.txt
Dalam file dasar robots.txt di atas ada 4 komponen penting yaitu User-agent,Allow,Disallow dan Sitemap
Pertama User-agent merupakan sebuah code awal untuk menentukan crawler jenis mana dari mesin telusur yang akan meng crawl website kita, contoh di atas memiliki 2 code(box1) setelah tanda : code yang pertama artinya kita mengatur crawler dari google adsense
sedang yang kedua setelah tanda : ada tanda asterisk * artinya kode ini mengatur seluruh crawler dari berbagai mesin pencari lainya bukan hanya google.
Selain dari Mediapartners-Google dan * ada user-agent lain yang dapat di dibedakan cara mengaturnya yaitu Googlebot-Video, Googlebot-Image
Lebih mengenai user-agent Googlebot-Image yang dapat mengatur gambar kita muncul di search engine
Mencegah gambar artikel muncul di google search menggunakan robots.txt
Kedua disallow(box2) artinya kita dapat mengecualikan sebuah halaman atau subdirektori lainya dari website kita setelah kita tentukan user-agent yang tidak diperbolehkan mengcrawl di halaman tersebut.
Ketiga allow(box3) setelah kita memblokir atau tidak memperbolehkan akses sebuah User-Agent kita dapat memberikan pengecualian terhadap contoh sebuah gambar dari semua gambar yang sudah di disallow dengan menulisnya secara terperinci.
Ketiga code tersebut merupakan dasar jika kita ingin membuat sebuah aturan baru yang hanya berlaku untuk salah satu jenis konten atau hal spesifik lainya.
Contoh :
menambahkan lebih dari satu halaman yang diblokir untuk semua User-agent
User-agent: *
Disallow: /p/privacypolicy.html
Disallow: /p/aboutme.html
Artinya halaman privacy policy dan about me tidak akan crawl
menambahkan lebih dari satu jenis user-agent
User-agent: Googlebot-Video
User-agent: Googlebot-Image
Disallow: /
Artinya sebuah gambar dan video yang ada di website tidak akan di crawl atau muncul di search engine
Memperbolehkan salah satu gambar di postingan
User-agent: Googlebot-Image
allow: /UrlPostingan.html/imagesname.jpg/
Artinya memperbolehkan imagesname.jpg dari artikel UrlPostingan.html boleh di crawl atau muncul di search engine
Keempat sitemap(box4) Kode ini mengacu pada peta situs blog kita. Dengan menambahkan tautan sitemap di sini kita dapat mengoptimalkan tingkat perayapan blog oleh semua user-agent.
Berarti kapan pun crawler search engine memindai file robots.txt, ada peluang yang lebih baik crawler merayapi semua posting blog kita tanpa mengabaikan satu pun.
Lebih jelas mengenai sitemap
Cara membuat dan edit Sitemap yang responsif
Baiklah sampai disini tutorial dan tips kali ini jika kalian ingin tau cara memperbaharui robots.txt yang kalian settingi ini silakan klik link di bawah
Cara memperbaharui robots.txt di blogger
Terima kasih sudah berkunjung jika ada pertanyaan silahkan berkomentar di bawah
0 Komentar