Ayo perbaiki Blokir Anda karena mengakses halaman terlarang (403)!

The robot cannot enter the amusement park. The message "403" is displayed in the closed ticket booth.

Diblokir karena akses terlarang (403) adalah status Google Search Console. Ini berarti beberapa halaman Anda tidak diindeks karena server Anda menolak akses Googlebot ke sana.

Ini tidak biasa, jadi status ini mungkin merupakan sinyal bahwa situs web Anda memerlukan tinjauan teknis.

Penyebab Diblokir karena akses terlarang (403)

Proses pengindeksan biasa dimulai dengan Googlebot menemukan URL. Google tidak langsung memasukkannya ke dalam indeks tetapi merayapinya untuk mencari informasi sebanyak mungkin tentang kontennya.

Berkat perayapan, mesin telusur mengetahui kueri apa yang layak untuk menampilkan laman Anda dan apakah laman itu berharga bagi pengguna.

Google jarang mengindeks halaman yang belum dirayapi. Dan ketika itu terjadi, itu adalah hal yang negatif untuk SEO Anda. Pelajari lebih lanjut dengan membaca artikel saya tentang Status “Diindeks, meskipun diblokir oleh robots.txt”.

Untuk merayapi laman, Google harus berperilaku serupa dengan peramban pengguna. Googlebot mengirimkan permintaan terkait URL ke server Anda. Server menanggapi permintaan tersebut dengan kode status HTTP, yang memberi tahu browser dan crawler jika dan bagaimana mereka dapat mengakses konten URL tersebut.

Kode status 403 adalah salah satu kemungkinan jawaban server. Ini berarti bahwa:

  • Server Anda memahami permintaan tersebut. Ia tahu di mana halaman dapat ditemukan,
  • Peramban atau perayap yang membuat permintaan memerlukan izin untuk mengakses sumber daya khusus ini,
  • Server Anda menolak permintaan tersebut karena kredensial yang diberikan tidak menjamin pemberian izin tersebut.

Kode status 403 mungkin hal yang biasa. Ini adalah cara untuk melindungi data sensitif dari pengunjung yang tidak sah. Namun, saat server Anda mengembalikan kode status ini ke Googlebot, ini menunjukkan adanya masalah.

Googlebot tidak pernah memberikan kredensial apa pun saat membuat permintaan, jadi dalam kasusnya, kode status 401 akan lebih pas. Kode 401 berarti bahwa permintaan tidak diselesaikan karena kurangnya kredensial otentikasi yang valid.

Jadi apa hasil dari kesalahan ini? Ada dua kemungkinan:

  1. Tidak ada mesin pencari dan server yang sempurna, sehingga bisa terjadi kesalahan dimana server mengembalikan kode 403 bukan kode 401 yang lebih tepat. Halaman 401 masih belum diindeks, tapi masalahnya dapat diperbaiki dengan mengubah pengaturan server.
  2. Di balik respons 403, ada masalah teknis yang lebih dalam di situs web Anda, yang sumbernya harus diselidiki.

Status “Diblokir karena akses dilarang (403)” menunjukkan bahwa situs web Anda dapat mengambil manfaat dari menyeluruh analisis log server. Hubungi Onely dan akhiri misteri perjuangan server Anda.

Bagaimana cara memecahkan masalah halaman “Diblokir karena akses terlarang (403)”?

Anda dapat menemukan halaman Anda terpengaruh oleh status “Diblokir karena akses dilarang (403)” di laporan Pengindeksan Halaman. Mudah diakses dari bilah navigasi kiri di Google Search Console Anda.

Tangkapan layar status

Setelah mengklik nama status, Anda akan melihat grafik yang menunjukkan bagaimana jumlah halaman yang terpengaruh telah berubah dari waktu ke waktu dan daftar URL. Anda dapat mengekspor daftar menggunakan tombol yang terletak di sudut kanan atas.

Tangkapan layar daftar halaman yang terpengaruh oleh status

Apa yang sangat berguna adalah Anda dapat memfilter halaman Anda hanya untuk yang telah Anda sertakan dalam peta situs sebelum membuka daftar dengan status “Diblokir karena akses dilarang (403)”.

Tangkapan layar yang menunjukkan cara memfilter URL Anda di Google Search Console.

Dengan cara ini, Anda dapat dengan mudah menemukan URL yang perlu segera diperbaiki. Karena Anda telah memasukkannya ke dalam peta situs Anda, mereka secara strategis penting bagi Anda dan harus diindeks untuk membawa lalu lintas organik ke situs Anda.

Haruskah semua halaman “Diblokir karena akses terlarang (403)” Anda diindeks?

Menilai URL mana yang paling kritis membawa kita ke langkah pertama pemecahan masalah “Diblokir karena akses dilarang (403)”, yaitu memutuskan apakah halaman yang terpengaruh harus ada atau tidak dalam indeks Google.

Ada tiga skenario yang mungkin:

1. Anda mungkin ingin menghindari pengindeksan halaman yang berisi data yang seharusnya tidak ditemukan di Google Penelusuran.

Namun, mengembalikan status 403 oleh server Anda bukanlah cara terbaik untuk menjauhkannya dari indeks. Jika Anda ingin halaman tetap tidak terindeks tanpa menambahkan kekacauan ke situs Anda, blokir dengan tag noindex.

2. Mungkin ada laman di situs web yang ingin Anda tampilkan di Penelusuran, tetapi menghalangi kemungkinan untuk melihat semua konten oleh pengguna yang tidak masuk. Contoh yang baik adalah artikel berita berbayar.

Googlebot tidak akan pernah masuk ke situs web Anda, jadi untuk membuat halaman tersebut diindeks, Anda perlu memberi Googlebot akses ke halaman Anda tanpa memblokirnya dengan dinding masuk. Itu berarti mengubah pengaturan server Anda dan memperlakukan crawler secara berbeda dari browser pengguna.

Perlu diperhatikan bahwa Google berhati-hati dengan situasi di mana Anda menampilkan konten yang berbeda dari pengguna kepada Googlebot. Inilah sebabnya mengapa Anda perlu menyediakan data terstruktur memberi tahu perayap bahwa itu berurusan dengan konten berbayar berpenghalang.

Ilustrasi bagaimana data terstruktur membantu Googlebot memahami konten berpenghalang berbayar.

Anda dapat menemukan petunjuk untuk menambahkan data terstruktur ke langganan dan konten berpenghalang berbayar di pedoman Google. Tanpa mematuhinya, Anda berisiko terkena a hukuman manual.

3. Terakhir, mungkin ada laman di situs Anda yang ingin Anda sediakan untuk umum, tetapi laman tersebut masih mengembalikan kode status 403 ke Googlebot.

Memperbaiki halaman-halaman ini bisa menjadi yang paling memakan waktu, karena tidak selalu mungkin untuk segera menemukan penyebab kesalahan.

Alasan halaman publik menampilkan kode status 403

Kemungkinan penyebabnya Bagaimana memperbaikinya
Kesalahan dalam file .htaccess Anda Itu .htaccess file memberikan perubahan konfigurasi pada server Anda saat menggunakan shared hosting. Biasanya, Sistem Manajemen Konten Anda membuatnya secara otomatis.

Nonaktifkan file .htaccess lama dan buat yang baru. Selanjutnya, jelajahi halaman Anda dengan agen pengguna Googlebot untuk melihat situs web Anda dari sudut pandangnya dan pastikan masalahnya hilang.

Plugin WordPress rusak Status “Diblokir karena akses terlarang (403)” di halaman WordPress mungkin disebabkan oleh plugin yang tidak kompatibel. Coba nonaktifkan plugin Anda satu per satu untuk menemukan akar kekacauan.
Alamat IP salah Kesalahan dapat terjadi jika nama domain Anda mengarah ke alamat IP yang salah. Verifikasi Anda Rekor.
Infeksi malware Pindai situs web Anda untuk mencari tanda-tanda infeksi malware. Perangkat lunak berbahaya dapat menghasilkan dan mempertahankan kesalahan dalam file .htaccess Anda.

Solusi jangka panjang untuk masalah pengindeksan Anda

Solusi di atas akan membantu Anda menjaga pengindeksan halaman tertentu dan untuk sementara memperbaiki status “Diblokir karena akses terlarang (403)”. Namun, mereka tidak menjamin bahwa masalah tersebut tidak akan kembali.

Cara terbaik untuk mempertahankan cakupan indeks yang memuaskan adalah dengan melakukan secara teratur audit SEO teknis. Biarkan kami membantu Anda mengatasi ancaman yang berkembang terhadap visibilitas Anda sejak awal.

Membungkus

Kesalahan “Diblokir karena akses dilarang (403)” terjadi saat Googlebot tidak dapat merayapi laman Anda karena server menolak permintaannya. Itu dapat diperbaiki dengan:

  • Memberikan tag noindex pada halaman yang harus tetap di-deindex,
  • Mengubah pengaturan server Anda dan menyediakan data terstruktur yang tepat untuk halaman yang ingin Anda indeks tetapi tetap dilindungi oleh beberapa login wall,
  • Menyelidiki file .htaccess Anda, plugin WordPress, A record, dan pelanggaran keamanan situs web untuk halaman yang ingin Anda indeks dan terlihat oleh setiap pengunjung.

Status “Diblokir karena akses dilarang (403)” mungkin merupakan tanda masalah SEO teknis yang lebih dalam yang menahan situs web Anda. Hubungi Onely untuk menyelidiki dan mengatasinya.