Mengatasi Warning Diindeks, Meski Diblokir Oleh Robots.txt
Mengatasi Warning Diindeks Meski Diblokir Oleh Robots.txt - Ketika saya sedang utak-atik Google Search Console versi terbaru di akun yang terkait dengan blog ini, saya menemukan sebuah problem tepatnya di menu cakupan. Problem yang saya alami ini adalah Diindeks, meski diblokir oleh robots.txt
Sementara ini perkiraan mungkin problem ini memang hanya terjadi pada blog yang menggunakan platform blogger saja. Untuk pengguna wordpress sendiri saya kurang paham, sebab memang saya tidak memiliki situs di platform tersebut.
Coba deh cek url yang diindeks, meski diblokir oleh robots.txt ini. Jika dilihat memang url yang terdampak masalah merupakan url semua halaman Search yaitu untuk halaman Search Label dan untuk halaman navigasi postingan lama.
Nah jika kita lihat secara default, robots.txt yang dimiliki blogger adalah seperti berikut ini.
Nah jika kita lihat dari halaman diatas, maka bisa kita simpulkan bahwa semua halaman Search tidak diizinkan untuk dicrawl bot.
Masalahnya disini adalah, rata-rata template yang di gunakan oleh blogger sendiri memiliki sebuah fitur breadcrumb, menu, atau widget label atau pada navigasi next prev, dan problemnya, halaman-halaman tersebut tetap dirayapi bot sehingga munculah masalah diindeks, meski diblokir oleh robots.txt ini.
Sampai disini seharusnya kita sudah paham bagaimana cara mengatasi problem tersebut. Dan untuk cara mengatasinya bukan tidak lain adalah mengganti format robots.txt pada blog kita sehingga nantinya Google bot dapat merayapi halaman tersebut tanpa harus ada blokir dari robots.txt dan akan memunculkannya di mesin pencarian.
Baiklah kita masuk ke tahap penyelesaiannya.
Sementara ini perkiraan mungkin problem ini memang hanya terjadi pada blog yang menggunakan platform blogger saja. Untuk pengguna wordpress sendiri saya kurang paham, sebab memang saya tidak memiliki situs di platform tersebut.
Coba deh cek url yang diindeks, meski diblokir oleh robots.txt ini. Jika dilihat memang url yang terdampak masalah merupakan url semua halaman Search yaitu untuk halaman Search Label dan untuk halaman navigasi postingan lama.
Nah jika kita lihat secara default, robots.txt yang dimiliki blogger adalah seperti berikut ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.domainkita.com/sitemap.xmlNah jika kita lihat dari halaman diatas, maka bisa kita simpulkan bahwa semua halaman Search tidak diizinkan untuk dicrawl bot.
Masalahnya disini adalah, rata-rata template yang di gunakan oleh blogger sendiri memiliki sebuah fitur breadcrumb, menu, atau widget label atau pada navigasi next prev, dan problemnya, halaman-halaman tersebut tetap dirayapi bot sehingga munculah masalah diindeks, meski diblokir oleh robots.txt ini.
Sampai disini seharusnya kita sudah paham bagaimana cara mengatasi problem tersebut. Dan untuk cara mengatasinya bukan tidak lain adalah mengganti format robots.txt pada blog kita sehingga nantinya Google bot dapat merayapi halaman tersebut tanpa harus ada blokir dari robots.txt dan akan memunculkannya di mesin pencarian.
Baiklah kita masuk ke tahap penyelesaiannya.
#1. Cara Pertama:
Masuk ke dashbor blooger, kemudian plih menu Setelan > Preferensi Penelusuran > Perayap dan Pengindeksan
Kemudian pada menu Robots.txt Khusus silahkan Anda masukan kode berikut ini.
Jangan lupa ganti kode yang di tandai dengan domain milik Anda.
Jika artikel Anda sudah lebih dari 500 artikel, silahkan tambahkan kode berikut ini di baris baru pada kode diatas.
Dan jika artikel sudah lebih dari 1000 maka tambahkan lagi kode berikut ini di baris baru pada kode diatas.
Lalu, silahkan buka template anda kemudian Edit HTML dan tambahkan kode dibawah ini di bawah kode <head>
#2. Cara Kedua
Masuk ke dashbor blooger, kemudian plih menu Setelan > Preferensi Penelusuran > Perayap dan Pengindeksan
Kemudian pada menu Robots.txt Khusus silahkan Anda masukan kode berikut ini.
User-agent: *
Disallow:
Sitemap: https://www.domainkamu.com/sitemap.xml
Sitemap: https://www.domainkamu.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.domainkamu.com/feeds/posts/default
Sitemap: https://www.domainkamu.com/sitemap-pages.xmlJangan lupa ganti kode yang di tandai dengan domain milik Anda.
Jika artikel Anda sudah lebih dari 500 artikel, silahkan tambahkan kode berikut ini di baris baru pada kode diatas.
Sitemap: https://www.domainkamu.com/atom.xml?redirect=false&start-index=501&max-results=500Dan jika artikel sudah lebih dari 1000 maka tambahkan lagi kode berikut ini di baris baru pada kode diatas.
Sitemap: https://www.domainkamu.com/atom.xml?redirect=false&start-index=1001&max-results=500Lalu, silahkan buka template anda kemudian Edit HTML dan tambahkan kode dibawah ini di bawah kode <head>
<b:if cond='data:view.isArchive'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchQuery'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchLabel'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>#2. Cara Kedua
Sebenarnya caranya hampis sama dengan yang pertama, namun saya menyebutnya ini cara yang lebih simple dan kegunaanya pun sama saja dengan cara pertama.
Oke langsung saja masuk ke cara yang kedua.
Silahkan salin kode dibawah ini.
<b:if cond="data:view.isSearch or data:view.isArchive">
<meta content='noindex, noarchive' name='robots'/>
</b:if>Kemudian letakkan kode tersebut tepat dibawah kode <head> template Anda.
Langkah selanjutnya, Anda juga harus mengapus perintah Disallow: /search pada file robots.txt.
Sebab jika perintah Disallow: /search tidak dihapus, robot Google tidak bisa membaca perintah dari tag meta robot yang sudah dipasang sebelumnya.
Untuk cara menghapusnya silakan masuk ke dashboard blogger > setelan > Crawler dan pengindeksan > Aktifkan fitur robots.txt kustom.
Klik pada robots.txt kostum, setelah itu masukkan kode ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Sitemap: https://www.panduanajib.com/sitemap.xmlGanti alamat blog yang di tandai dengan alamat blog milik Anda.
Jangan lupa klik “Simpan“
Kemudian Anda juga lupa untuk melalukan submit robot.txt baru ke Robot Testing Tool.
Jika sudah melakukan perubahan, jangan lupa klik tombol “Validasi Perbaikan” di dashboard Search Console. Kemudian silahkan tunggu sampai notifikasi “Diindeks meski diblokir oleh robots.txt” hilang.
Jika sudah melakukan perubahan, jangan lupa klik tombol “Validasi Perbaikan” di dashboard Search Console. Kemudian silahkan tunggu sampai notifikasi “Diindeks meski diblokir oleh robots.txt” hilang.
Demikianlah artikel dari saya kali ini tentang Mengatasi Warning Diindeks, Meski Diblokir Oleh Robots.txt. Semoga artikel ini dapat bermanfaat untuk Anda semua yang membacanya. Salam.
Posting Komentar untuk "Mengatasi Warning Diindeks, Meski Diblokir Oleh Robots.txt"
Harap memberikan komentar dengan bijak dan sesuai artikel yang dibaca. Mohon jangan spam disini.