“Diindeks, meskipun diblokir oleh robots.txt” – Dijelaskan Dan Diperbaiki!

"Diindeks, meskipun diblokir oleh robots.txt" - Dijelaskan Dan Diperbaiki!

Diindeks, meskipun diblokir oleh robots.txt adalah status Google Search Console. Ini berarti bahwa Google tidak merayapi URL Anda tetapi tetap mengindeksnya.

Status ini menunjukkan masalah SEO serius yang harus segera Anda atasi.

Apa hubungannya pengindeksan dengan robots.txt?

Status “Diindeks, meskipun diblokir oleh robots.txt” mungkin membingungkan. Itu karena itu adalah kesalahpahaman umum bahwa arahan robots.txt dapat digunakan untuk mengontrol pengindeksan – ini tidak terjadi.

Status berarti bahwa Google mengindeks halaman meskipun Anda memblokirnya untuk menganalisisnya, secara sengaja atau tidak sengaja.

Biarkan saya membantu Anda memahami hubungan antara robots.txt dan proses pengindeksan. Ini akan membuat memahami solusi akhir lebih mudah.

Bagaimana cara kerja penemuan, perayapan, dan pengindeksan?

Sebelum halaman diindeks, perayap mesin telusur harus menemukan dan merayapinya terlebih dahulu.

Pada tahap penemuan, perayap mempelajari bahwa URL yang diberikan ada. Saat merayapi, Googlebot mengunjungi URL tersebut dan mengumpulkan informasi tentang kontennya. Baru kemudian URL masuk ke indeks dan dapat ditemukan di antara hasil pencarian lainnya.

Sst. Prosesnya tidak selalu mulus, tetapi Anda dapat mempelajari cara membantunya dengan membaca artikel kami di:

Apa itu robots.txt?

Anda dapat memblokir URL tertentu agar tidak dirayapi dengan robots.txt. Ini adalah file yang dapat Anda gunakan untuk mengontrol cara Googlebot merayapi situs web Anda. Setiap kali Anda memasukkan arahan Disallow di dalamnya, Googlebot tahu bahwa itu tidak dapat mengunjungi halaman yang menerapkan arahan ini.

Tapi robots.txt tidak mengontrol pengindeksan.

Mari kita jelajahi apa yang terjadi ketika Google menerima sinyal yang bertentangan dari situs web Anda, dan pengindeksan menjadi berantakan.

Penyebab Terindeks, meskipun diblokir oleh robots.txt

Terkadang Google memutuskan untuk mengindeks halaman yang ditemukan meskipun tidak dapat merayapinya dan memahami kontennya.

Tabel yang menunjukkan bagaimana situasi dari status berbeda dari proses pengindeksan biasa.

Dalam skenario ini, Google biasanya dimotivasi oleh sejumlah besar tautan yang mengarah ke halaman diblokir oleh robots.txt.

Tautan diterjemahkan ke dalam skor PageRank. Google menghitungnya untuk menilai apakah halaman tertentu penting. Itu Algoritma PageRank memperhitungkan baik tautan internal maupun eksternal.

Ketika ada kekacauan di tautan Anda dan Google melihat bahwa halaman yang tidak diizinkan memiliki nilai PageRank yang tinggi, Google mungkin menganggap halaman tersebut cukup signifikan untuk menempatkannya di indeks.

Namun, indeks hanya akan menyimpan URL kosong tanpa informasi konten karena konten belum dirayapi.

Mengapa Diindeks, meskipun diblokir oleh robots.txt buruk untuk SEO?

Status “Indeks, meskipun diblokir oleh robots.txt” adalah masalah serius. Ini mungkin tampak relatif jinak, tetapi dapat menyabotase SEO Anda dalam dua cara yang signifikan.

Tampilan pencarian yang buruk

Jika Anda memblokir halaman tertentu secara tidak sengaja, Terindeks, meskipun diblokir oleh robots.txt tidak berarti Anda beruntung, dan Google memperbaiki kesalahan Anda.

Halaman yang diindeks tanpa crawling tidak akan terlihat menarik saat ditampilkan di hasil pencarian. Google tidak akan dapat menampilkan:

  • Tag judul (sebagai gantinya, secara otomatis akan menghasilkan judul dari URL atau informasi yang diberikan oleh halaman yang tertaut ke halaman Anda),
  • Deskripsi meta,
  • Setiap informasi tambahan dalam bentuk hasil yang kaya.

Tanpa elemen tersebut, pengguna tidak akan tahu apa yang diharapkan setelah memasuki halaman dan dapat memilih situs web pesaing, menurunkan RKPT Anda secara drastis.

Berikut ini contohnya – salah satu produk Google sendiri:

Tangkapan layar Google Jamboard terlihat tidak menarik di Penelusuran.

Google Jamboard diblokir dari perayapan, tetapi dengan hampir 20.000 tautan dari situs web lain (menurut Ahrefs), Google masih mengindeksnya.

Sementara peringkat halaman, itu ditampilkan tanpa informasi tambahan. Itu karena Google tidak dapat merayapinya dan mengumpulkan informasi apa pun untuk ditampilkan. Ini hanya menampilkan URL dan judul dasar berdasarkan apa yang ditemukan Google di situs web lain yang tertaut ke Jamboard.

Untuk melihat apakah halaman Anda memiliki masalah yang sama dan “Diindeks, meskipun diblokir oleh robots.txt”, o ke Google Search Console dan periksa di Alat Inspeksi URL.

Tangkapan layar Alat Inspeksi URL.

Lalu lintas yang tidak diinginkan

Jika Anda dengan sengaja menggunakan perintah Disallow robots.txt untuk halaman tertentu, Anda tidak ingin pengguna menemukan halaman tersebut di Google. Katakanlah, misalnya, Anda masih mengerjakan konten halaman itu, dan konten itu belum siap untuk dilihat publik.

Tetapi jika halaman diindeks, pengguna mungkin dapat menemukannya, memasukkannya, dan membentuk opini negatif tentang situs web Anda.

Bagaimana cara memperbaiki Terindeks, meskipun diblokir oleh robots.txt?

Anda dapat menemukan status “Diindeks, meskipun diblokir oleh robots.txt” di bagian bawah laporan Pengindeksan Halaman di Google Search Console Anda.

Di sana Anda mungkin melihat tabel “Tingkatkan tampilan Pencarian”.

Tangkapan layar dari "Tingkatkan tampilan Pencarian" meja.

Setelah mengklik statusnya, Anda akan melihat daftar URL yang terpengaruh dan bagan yang menunjukkan bagaimana jumlahnya berubah dari waktu ke waktu.

Tangkapan layar dari "Diindeks, meskipun diblokir oleh robots.txt" bagan.

Daftar dapat difilter berdasarkan URL atau jalur URL. Ketika Anda memiliki banyak URL yang terpengaruh oleh masalah ini, dan Anda hanya ingin melihat beberapa bagian dari situs web Anda, gunakan simbol piramida di sisi kanan.

Tangkapan layar yang menunjukkan cara memfilter daftar contoh URL.

Sebelum Anda memulai pemecahan masalah, pertimbangkan apakah URL dalam daftar benar-benar harus diindeks. Apakah mereka berisi konten yang mungkin bernilai bagi pengunjung Anda?

Bila Anda ingin halaman diindeks

Jika halaman tidak diizinkan di robots.txt karena kesalahan, Anda perlu memodifikasi file.

Setelah menghapus arahan Disallow yang memblokir perayapan URL Anda, Googlebot kemungkinan akan merayapinya saat mengunjungi situs web Anda lagi.

Untuk instruksi terperinci tentang memodifikasi file dengan tepat, lihat kami panduan robots.txt.

Bila Anda ingin halaman di-deindex

Jika laman berisi informasi yang tidak ingin Anda tunjukkan kepada pengguna yang mengunjungi Anda melalui mesin telusur, Anda harus menunjukkan kepada Google bahwa Anda tidak ingin laman diindeks.

Robots.txt tidak boleh digunakan untuk mengontrol pengindeksan. File ini memblokir Googlebot agar tidak merayap. Sebagai gantinya, gunakan tag noindex.

Google selalu menghormati ‘noindex’ ketika menemukannya di halaman. Dengan menggunakannya, Anda dapat memastikan Google tidak akan menampilkan halaman Anda di hasil pencarian.

Anda dapat menemukan petunjuk terperinci tentang penerapannya di halaman Anda di . kami panduan tag noindex.

Ingatlah bahwa Anda harus mengizinkan Google merayapi laman Anda untuk menemukan tag HTML ini. Ini adalah bagian dari konten halaman.

Jika Anda menambahkan tag ‘noindex’ tetapi tetap memblokir laman di robots.txt, Google tidak akan menemukan tag tersebut. Dan halaman akan tetap Terindeks, meski diblokir oleh robots.txt.

Saat Google merayapi laman dan melihat tag ‘noindex’, tag tersebut akan dihapus dari indeks. Anda kemudian akan melihat statusnya di Laporan pengindeksan halaman berubah menjadi Dikecualikan oleh tag ‘noindex’.

Ingatlah bahwa jika Anda ingin menjauhkan laman apa pun dari Google dan penggunanya, selalu merupakan pilihan teraman untuk menerapkan autentikasi HTTP di server Anda. Dengan begitu, hanya pengguna yang login yang dapat mengaksesnya. Ini diperlukan jika Anda ingin melindungi data sensitif, misalnya.

Ketika Anda membutuhkan solusi jangka panjang

Solusi di atas akan membantu Anda mengatasi masalah “Diindeks, meskipun diblokir oleh robots.txt” untuk sementara waktu. Namun, mungkin saja itu akan muncul sehubungan dengan halaman lain di masa mendatang.

Status tersebut menunjukkan bahwa situs web Anda mungkin memerlukan tautan internal menyeluruh atau peningkatan audit tautan balik.

LANGKAH SELANJUTNYA

Inilah yang dapat Anda lakukan sekarang:

  1. Hubungi kami.
  2. Terima paket yang dipersonalisasi dari kami untuk menangani masalah penautan internal Anda.
  3. Atasi kekacauan yang membuat situs web Anda tidak berkembang.

Masih tidak yakin untuk menjatuhkan kami? Baca caranya optimasi struktur situs web dan audit tautan dapat membantu Anda meningkatkan situs web Anda.

Diindeks, meskipun diblokir oleh robots.txt VS Diblokir oleh robots.txt

Status Terindeks, meskipun diblokir oleh robots.txt berlaku untuk URL yang tidak dirayapi tetapi diindeks. Ada status serupa dalam laporan Pengindeksan halaman, Diblokir oleh robots.txt, yang berlaku untuk halaman yang tidak dirayapi dan diindeks.

Izinkan saya sekali lagi menunjukkan kepada Anda tabel dari awal untuk menguraikan perbedaan ini dengan lebih baik.

Tabel yang menunjukkan perbedaan antara Diindeks, meskipun diblokir oleh robots.txt, dan status lainnya.

Diblokir oleh robots.txt biasanya tidak terlalu menjadi masalah, sedangkan Terindeks, meskipun diblokir oleh robots.txt harus selalu diperlakukan dengan prioritas tinggi. Namun, jika Anda ingin melihat lebih dekat pada status kedua juga, Anda dapat memeriksa artikel kami di Diblokir oleh robots.txt.

Takeaways Kunci

  1. Arahan Disallow di file robots.txt memblokir Google agar tidak merayapi laman Anda tetapi tidak mengindeksnya.
  2. Memiliki halaman yang diindeks dan tidak dirayapi buruk untuk SEO Anda.
  3. Untuk memperbaiki Terindeks, meskipun diblokir oleh robots.txt, Anda perlu memutuskan apakah halaman yang terpengaruh harus terlihat di Penelusuran, lalu:
    • Ubah file robots.txt Anda,
    • Gunakan tag meta noindex jika perlu.
  4. Status “Diindeks, meskipun diblokir oleh robots.txt” mungkin merupakan tanda masalah serius dengan tautan internal dan profil tautan balik Anda. Hubungi Onely untuk mendapatkan link Anda dioptimalkan.