Cara memperbaharui robots.txt di blogger

Kali ini saya akan memberikan tutorial bagaimana caranya memperbarui sebuah robots.txt yang kita miliki di blogger sebelum itu mari kita mengenal sedikit mengenai robots.txt

 

Robots.txt adalah sebuah aturan yang biasanya di buat otomatis oleh blogger yang merupakan salah satu produk dari google agar memudahkan produk lain dari google untuk mengakses website kita dan menggunakan fitur yang dimiliki produk tersebut seperti google adsense,analytics,console Dll.

Dan salah satu fitur yang penting dari robots.txt adalah memberi tau crawler mesin search google mana url atau halaman yang berisi element-element yang tidak ingin kita bagikan seperti gambar, vidio, audio .dll yang dapat di atur menggunakan robots.txt ini, untuk lebih jelasnya kalian dapat baca artikel lewat link di bawah.

cara setting atau membuat robot txt di blogger

Mencegah gambar artikel muncul di google search menggunakan robots.txt

Baiklah itu sedikit mengenai robots.txt baiklah selanjutnya mari kita mulai memperbaharui robots.txt jika kalian ingin mengetahui cara menambahkan aturan kedalam robots.txt kalian bisa membacanya lewat link di atas

 

• Pertama

Kita mulai dari mendapatkan file robots.txt, jika kalian sudah memilikinya kalian dapat langsung ke step kedua. Ada 2 cara mendapatkan file robots.txt cara yang pertama adalah dengan menyalin  langsung di website kita dengan cara url website kita lalu kita tambahkan /robots.txt atau seperti gambar di bawah

Setelah selesai menyalinnya selanjutnya kalian hanya perlu menempelkanya di aplikasi editor teks seperti notepad dan menggantinya seperti yang kalian inginkan. Ingat jika kalian menyimpan file name harus robots formatnya .txt(Box1) juga di simpan menggunakan encoding UTF-8(Box2). seperti gambar di bawah

Cara lainya adalah dengan menggunakan pengujian robot.txt dari google lewat link di bawah

robots testing tool

Setelah kalian di alihkan ke situs tersebut selanjutnya kalian mencari tombol silakan pilih property dan kalian pilih website kalian sehinggan gambar seperti di bawah

Selanjutnya kalian klik tombol kirim(Box1) lalu download(Box2) file robot.txt akan segera di download

 

• Kedua

Baik di atas adalah cara mendapatkan file robot.txt jika kalian ingin mengeditnya di platform atau server lain selain blogger untuk memperbaharui robots.txt di blogger ada 2 cara cara yang pertama adalah menggunakan tool di url yang pertama kali saya berikan di step pertama yaitu pengujian robot txt kalian dapat mengaksesnya lewat link di bawah.

robots testing tool

Setelah memilih properti atau blog yang kita miliki selanjutnya kalian hanya perlu mengedit aturan yang ada di robots.txt tersebut untuk lebih jelas apa yang dapat kita edit kalian bisa membacanya di artikel ini Artikel akan Di Upload seperti gambar di bawah.

Setelah proses edit selesai selanjutnya kita simpan atau kita perbaharui dengan mengklik tombol kirim(Box1) dan update(Box2)

 

setelah itu kita tunggu robot.txt akan diubah setelah google mengcrawl lagi website kita kalian dapat mengeceknya di latest version(Box1) kapan terakhir kali google mengcrawl website kita dan jika sudah akan ada perubahan di situ(Box1) seperti gambar dibawah

Cara di atas memiliki kelemahan yaitu proses crawling dari google tidak bisa kita atur dan akan memakan banyak waktu cara selanjutnya yang akan saya berikan yaitu

 

Menggunakan custom robots.txt, menggunakan metode ini akan langsung memperbaharui robot.txt kita di website meski di tool pengujian robots.txt tidak akan ada perubahan karena perubahan hanya terjadi jika google mengcrawl website kita.

 

Caranya yaitu kita ke website blogger lalu klik tombol setting(Box1) lalu kita mencari bagian pengindexan dan crawl(Box2) lalu kita aktifkan custom robots.txt(Box3) seperti gambar di bawah

Selanjutnya kita klik tombol custom robot.txt(Box4) lalu akan muncul tampilan seperti dibawah, kita isikan aturan file robots.txt yang sudah kita edit lalu kita simpan

Sekarang robot txt kalian sudah berubah kalian dapat melihatnya dengan menggunakan cara di atas yaitu menambahkan /robots.txt di url blog kalian

Baiklah sampai di sini dulu tutorial kali ini semoga bermanfaat terima kasih sudah berkunjung jika ada pertanyaan silahkan berkomentar di bawah terimakasih.