Skip to main content

Mengatasi Warning Diindeks, Meski Diblokir Oleh Robots.txt

Mengatasi Warning Diindeks Meski Diblokir Oleh Robots.txt - Ketika saya sedang utak-atik Google Search Console versi terbaru di akun yang terkait dengan blog ini, saya menemukan sebuah problem tepatnya di menu cakupan. Problem yang saya alami ini adalah Diindeks, meski diblokir oleh robots.txt

Sementara ini perkiraan mungkin problem ini memang hanya terjadi pada blog yang menggunakan platform blogger saja. Untuk pengguna wordpress sendiri saya kurang paham, sebab memang saya tidak memiliki situs di platform tersebut.

Mengatasi Warning Diindeks, Meski Diblokir Oleh Robots.txt

Coba deh cek url yang diindeks, meski diblokir oleh robots.txt ini. Jika dilihat memang url yang terdampak masalah merupakan url semua halaman Search yaitu untuk halaman Search Label dan untuk halaman navigasi postingan lama.

Nah jika kita lihat secara default, robots.txt yang dimiliki blogger adalah seperti berikut ini.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.domainkita.com/sitemap.xml

Nah jika kita lihat dari halaman diatas, maka bisa kita simpulkan bahwa semua halaman Search tidak diizinkan untuk dicrawl bot.

Masalahnya disini adalah, rata-rata template yang di gunakan oleh blogger sendiri memiliki sebuah fitur breadcrumb, menu, atau widget label atau pada navigasi next prev, dan problemnya, halaman-halaman tersebut tetap dirayapi bot sehingga munculah masalah diindeks, meski diblokir oleh robots.txt ini.

Sampai disini seharusnya kita sudah paham bagaimana cara mengatasi problem tersebut. Dan untuk cara mengatasinya bukan tidak lain adalah mengganti format robots.txt pada blog kita sehingga nantinya Google bot dapat merayapi halaman tersebut tanpa harus ada blokir dari robots.txt dan akan memunculkannya di mesin pencarian.

Baiklah kita masuk ke tahap penyelesaiannya.

Masuk ke dashbor blooger, kemudian plih menu Setelan > Preferensi Penelusuran > Perayap dan Pengindeksan

Kemudian pada menu Robots.txt Khusus silahkan Anda masukan kode berikut ini.

User-agent: *
Disallow:

Sitemap: https://www.domainkamu.com/sitemap.xml
Sitemap: https://www.domainkamu.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.domainkamu.com/feeds/posts/default
Sitemap: https://www.domainkamu.com/sitemap-pages.xml

Jangan lupa ganti kode yang di tandai dengan domain milik Anda.

Jika artikel Anda sudah lebih dari 500 artikel, silahkan tambahkan kode berikut ini di baris baru pada kode diatas.

Sitemap: https://www.domainkamu.com/atom.xml?redirect=false&start-index=501&max-results=500

Dan jika artikel sudah lebih dari 1000 maka tambahkan lagi kode berikut ini di baris baru pada kode diatas.

Sitemap: https://www.domainkamu.com/atom.xml?redirect=false&start-index=1001&max-results=500

Lalu, silahkan buka template anda kemudian Edit HTML dan tambahkan kode dibawah ini di bawah kode <head>

<b:if cond='data:view.isArchive'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchQuery'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchLabel'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>

Jika sudah silahkan klik simpan tema. Kemudian silahkan lakukan submit robot.txt baru ke Robot Testing Tool.

Kemudian masuk ke Console dan lakukan validasi pada warning Diindeks, meski diblokir oleh robots.txt.

Demikianlah artikel dari saya kali ini. Semoga artikel ini dapat bermanfaat untuk Anda semua yang membacanya. Salam.

Sumber: https://www.kompiajaib.com/2019/06/mengatasi-masalah-warning-diindeks.html
Comment Policy: Silahkan tuliskan komentar Anda yang sesuai dengan topik postingan halaman ini. Komentar yang berisi tautan tidak akan ditampilkan sebelum disetujui.
Buka Komentar
Tutup Komentar
-->