Cek indexability dan canonical

Mengapa ini penting

Google bisa mempertimbangkan halaman yang menjawab 2xx untuk diindeks, walaupun belum tentu mengindeksnya. Alamat yang menjawab 4xx tidak diindeks Google, dan alamat yang terus-menerus menjawab 5xx lama-kelamaan dihapus dari indeks.

Cara mengeceknya sendiri

Jalankan curl -IL untuk alamat ini dan baca kode status di jawaban terakhir. Di Search Console, lakukan tes live di URL Inspection untuk alamat akhir setelah redirect: hasilnya menunjukkan apakah Google bisa mengambil halaman itu.

Dokumentasi resmi: Pengaruh kode status HTTP terhadap crawler Google

Mengapa ini penting

Google menyarankan agar redirect langsung menuju alamat akhir. Kalau tidak bisa, usahakan rantainya pendek: idealnya paling banyak 3 redirect, dan jangan sampai 5. Crawler Google mengikuti paling banyak 10 redirect, dan Search Console melaporkan rantai yang terlalu panjang atau berputar-putar sebagai error redirect.

Cara mengeceknya sendiri

Jalankan curl -IL untuk alamat ini. Perintah itu menampilkan setiap jawaban secara berurutan, dan hanya jawaban terakhir yang seharusnya 200.

Dokumentasi resmi: Pengalihan dan Google Penelusuran

Mengapa ini penting

Google menyarankan HTTPS untuk melindungi keamanan dan privasi pengunjung. Kalau sebuah halaman memiliki alamat http dan https, Google lebih memilih mengindeks yang https.

Cara mengeceknya sendiri

Buka halamannya, lalu cek apakah alamatnya diawali https dan browser tidak menampilkan peringatan keamanan. Laporan HTTPS di Search Console menghitung alamat yang diindeks Google tetapi masih memakai http.

Dokumentasi resmi: Memahami pengalaman halaman di hasil Google Penelusuran

Mengapa ini penting

Google hanya menerima tag canonical di bagian head. Elemen yang tidak semestinya ada di sana, seperti img atau iframe, membuat Google menganggap bagian head sudah berakhir, sehingga semua yang ada sesudahnya diabaikan.

Cara mengeceknya sendiri

Di source code halaman, cek apakah tag canonical ada di dalam bagian head, tanpa img, iframe, atau elemen body lain di atasnya.

Dokumentasi resmi: Cara menentukan URL kanonis dengan rel="canonical" dan metode lainnya

Mengapa ini penting

Google membaca canonical sebagai sinyal bahwa alamat yang disebutnya seharusnya menjadi canonical. Nilai yang kosong, atau yang bukan alamat http atau https, tidak menunjuk halaman mana pun untuk diutamakan.

Cara mengeceknya sendiri

Baca nilai setiap canonical di source code halaman, dan header Link-nya dengan curl -I. Setiap nilai seharusnya alamat lengkap yang membuka halaman itu.

Dokumentasi resmi: Cara menentukan URL kanonis dengan rel="canonical" dan metode lainnya

Mengapa ini penting

Google lebih memilih halaman https sebagai canonical, kecuali ada sinyal yang bertentangan. Salah satunya adalah halaman https yang canonical-nya menyebut versi http.

Cara mengeceknya sendiri

Di source code halaman, cek apakah canonical diawali https://. Laporan HTTPS di Search Console menghitung alamat yang diindeks Google tetapi masih memakai http.

Dokumentasi resmi: Cara menentukan URL kanonis dengan rel="canonical" dan metode lainnya

Mengapa ini penting

Google mencantumkan aturan robots yang didukungnya, dan menyebut beberapa yang diabaikannya, seperti noarchive. Untuk kata di luar daftar itu, Google tidak menjelaskan efek apa pun, dan kata itu bisa jadi salah ketik dari aturan yang Anda maksud.

Cara mengeceknya sendiri

Baca tag meta robots di source code halaman, dan header X-Robots-Tag dengan curl -I, lalu bandingkan setiap katanya dengan daftar Google.

Dokumentasi resmi: Spesifikasi tag meta Robots, data-nosnippet, dan X-Robots-Tag

Mengapa ini penting

Canonical di bagian head atau di header Link memberi tahu Google alamat mana yang Anda utamakan, kalau satu halaman bisa dibuka dari beberapa alamat. Google tidak mewajibkannya: tanpa canonical, Google memilih sendiri versi yang menurutnya paling baik untuk ditampilkan.

Cara mengeceknya sendiri

Buka source code halaman dan cari kata canonical. URL Inspection di Search Console menunjukkan canonical yang Anda nyatakan dan canonical yang dipilih Google.

Dokumentasi resmi: Cara menentukan URL kanonis dengan rel="canonical" dan metode lainnya

Mengapa ini penting

Google mendukung alamat canonical yang relatif, tetapi menyarankan alamat lengkap. Alamat relatif bisa menimbulkan masalah di kemudian hari, misalnya kalau versi uji coba website Anda ikut di-crawl.

Cara mengeceknya sendiri

Di source code halaman, cek apakah setiap nilai canonical diawali https://.

Dokumentasi resmi: Cara menentukan URL kanonis dengan rel="canonical" dan metode lainnya

Mengapa ini penting

Google menyarankan agar satu halaman tidak menyebut alamat canonical yang berbeda-beda. Google juga mengingatkan bahwa tag canonical yang saling bertentangan, atau lebih dari satu, bisa memberi hasil yang tidak terduga.

Cara mengeceknya sendiri

Cari kata canonical di source code halaman, lalu baca header Link-nya (kalau ada) dengan menjalankan curl -I untuk alamat ini.

Dokumentasi resmi: Cara menentukan URL kanonis dengan rel="canonical" dan metode lainnya

Mengapa ini penting

Untuk redirect permanen, Google menampilkan alamat tujuannya di hasil pencarian dan menganggap redirect itu sinyal bahwa alamat tujuan seharusnya menjadi canonical. Untuk redirect sementara, yang ditampilkan adalah alamat asalnya.

Cara mengeceknya sendiri

Jalankan curl -IL untuk alamat ini dan baca kode status setiap redirect: 301 atau 308 berarti permanen.

Dokumentasi resmi: Pengalihan dan Google Penelusuran

Mengapa ini penting

Bagi Google, canonical yang disebut sebuah halaman adalah petunjuk, bukan perintah. Google memilih canonical dari beberapa sinyal, dan hasil pencariannya biasanya mengarah ke halaman yang dipilihnya.

Cara mengeceknya sendiri

URL Inspection di Search Console menampilkan canonical yang Anda nyatakan di samping canonical yang dipilih Google.

Dokumentasi resmi: Apa yang dimaksud dengan kanonikalisasi

Mengapa ini penting

Google tidak meng-crawl atau mengindeks konten yang diblokir robots.txt. Namun, alamatnya sendiri tetap bisa muncul di hasil pencarian, tanpa deskripsi, kalau ada halaman lain yang memasang link ke alamat itu.

Cara mengeceknya sendiri

Di Search Console, URL Inspection memberi tahu apakah crawling diizinkan untuk alamat ini, dan laporan robots.txt menampilkan file yang terakhir diambil Google.

Dokumentasi resmi: Cara Google menafsirkan spesifikasi robots.txt

Mengapa ini penting

Saat Googlebot meng-crawl sebuah halaman dan menemukan noindex, Google menghapus halaman itu dari hasil pencariannya, walaupun ada website lain yang memasang link ke sana. Aturan none sama artinya dengan noindex, nofollow.

Cara mengeceknya sendiri

Buka source code halaman dan cari kata noindex. URL Inspection di Search Console menunjukkan apakah pengindeksan diizinkan.

Dokumentasi resmi: Memblokir pengindeksan Penelusuran dengan noindex

Mengapa ini penting

Header X-Robots-Tag memiliki efek yang sama dengan tag meta robots, dan juga berlaku untuk file seperti PDF. Kalau Googlebot menemukan noindex atau none di header ini, Google menghapus alamat itu dari hasil pencariannya.

Cara mengeceknya sendiri

Jalankan curl -I untuk alamat ini dan baca baris X-Robots-Tag, kalau ada. URL Inspection di Search Console menunjukkan apakah pengindeksan diizinkan.

Dokumentasi resmi: Spesifikasi tag meta Robots, data-nosnippet, dan X-Robots-Tag

Mengapa ini penting

Bagi Google, kode 4xx selain 429 berarti tidak ada batasan crawling. Kalau robots.txt menjawab 5xx atau 429, atau gagal diambil, Google berhenti meng-crawl seluruh website selama 12 jam. Setelah itu, Google memakai salinan terakhir yang berhasil diambilnya, hingga 30 hari. Menurut RFC 9309, kalau file ini tidak bisa dijangkau, crawler harus menganggap semua alamat dilarang.

Cara mengeceknya sendiri

Buka /robots.txt website ini di browser, atau jalankan curl -I untuk alamat itu, dan lihat kode statusnya. Laporan robots.txt di Search Console menampilkan versi yang terakhir diambil Google.

Dokumentasi resmi: Cara Google menafsirkan spesifikasi robots.txt

Mengapa ini penting

RFC 9309, standar robots.txt, mengharuskan setiap crawler mengikuti grup aturan yang cocok dengan namanya, atau grup * kalau tidak ada yang cocok. Crawler yang mengikuti standar ini tidak mengambil apa yang dilarang grupnya. Memblokir satu mesin pencari bisa jadi memang disengaja.

Cara mengeceknya sendiri

Buka /robots.txt website ini, cari grup untuk Bingbot (atau grup * kalau tidak ada), dan baca aturan yang ditunjukkan.

Dokumentasi resmi: RFC 9309: Robots Exclusion Protocol

Mengapa ini penting

Canonical meminta Google menampilkan alamat yang disebutnya. Alamat yang menjawab 4xx atau di-redirect ke tempat lain tidak diindeks Google, dan alamat yang terus-menerus menjawab 5xx lama-kelamaan dihapus dari indeks.

Cara mengeceknya sendiri

Jalankan curl -I untuk alamat canonical itu: jawabannya seharusnya 200, tanpa header Location.

Dokumentasi resmi: Cara menentukan URL kanonis dengan rel="canonical" dan metode lainnya

Mengapa ini penting

Sitemap hanya membantu mesin pencari menemukan halaman kalau sitemap itu bisa diambil dan dibaca. Search Console melaporkan kegagalan seperti ini sebagai “Couldn’t fetch” atau “Has errors”. Satu file sitemap boleh memuat paling banyak 50.000 alamat, dengan ukuran paling besar 50 MB sebelum dikompresi.

Cara mengeceknya sendiri

Buka setiap alamat sitemap di browser dan cek apakah isinya daftar halaman Anda. Laporan Sitemaps di Search Console menunjukkan apakah Google bisa membaca sitemap yang Anda kirim.

Dokumentasi resmi: Membuat dan mengirimkan peta situs

Mengapa ini penting

Google hanya membaca robots.txt sampai 500 KiB dan mengabaikan sisanya, jadi aturan yang letaknya setelah batas itu tidak berlaku bagi Google.

Cara mengeceknya sendiri

Unduh /robots.txt dan cek ukurannya dalam byte. Laporan robots.txt di Search Console juga menampilkan ukuran file yang diambil Google.

Dokumentasi resmi: Cara Google menafsirkan spesifikasi robots.txt

Mengapa ini penting

Sitemap membantu mesin pencari menemukan halaman-halaman sebuah website, walaupun Google belum tentu meng-crawl atau mengindeks semua yang tercantum di dalamnya. Menurut Google, website dengan sekitar 500 halaman atau kurang, yang semua halamannya terhubung lewat link internal, mungkin tidak membutuhkan sitemap.

Cara mengeceknya sendiri

Buka /robots.txt website ini dan cari baris Sitemap. Laporan Sitemaps di Search Console mencantumkan sitemap yang Anda kirim, tetapi tidak mencantumkan sitemap yang hanya ditemukan lewat robots.txt.

Dokumentasi resmi: Membuat dan mengirimkan peta situs

Mengapa ini penting

Google menyarankan agar alamat yang ingin Anda tampilkan di hasil pencarian dicantumkan di sitemap, dalam bentuk alamat lengkap. Halaman yang tidak tercantum tetap bisa ditemukan lewat link.

Cara mengeceknya sendiri

Buka sitemap dan cari alamat halaman ini. URL Inspection di Search Console menyebut sitemap yang mencantumkan alamat ini, asalkan sitemap itu Anda kirim sendiri atau tercantum di robots.txt.

Dokumentasi resmi: Membuat dan mengirimkan peta situs

Mengapa ini penting

Halaman yang disebut sebagai canonical adalah halaman yang ingin Anda tampilkan. Kalau halaman itu memakai noindex, Google menghapusnya dari hasil pencarian. Kalau robots.txt melarang Googlebot mengambilnya, Google bisa saja mengindeks alamatnya tanpa isinya.

Cara mengeceknya sendiri

Cek alamat canonical itu dengan URL Inspection di Search Console, yang menunjukkan apakah crawling dan pengindeksan diizinkan.

Dokumentasi resmi: Cara menentukan URL kanonis dengan rel="canonical" dan metode lainnya

Mengapa ini penting

Google harus mengambil sebuah halaman untuk bisa melihat noindex-nya. Selama robots.txt melarang Googlebot mengambilnya, Google tidak akan pernah melihat aturan itu. Akibatnya, halaman ini tetap bisa muncul di hasil pencarian, misalnya kalau ada halaman lain yang memasang link ke sana.

Cara mengeceknya sendiri

Setelah robots.txt diubah, URL Inspection di Search Console menunjukkan apakah crawling diizinkan dan apakah halaman ini mengizinkan pengindeksan.

Dokumentasi resmi: Memblokir pengindeksan Penelusuran dengan noindex

Mengapa ini penting

Kalau halaman yang Anda sebut sebagai canonical menyebut alamat lain sebagai canonical-nya, kedua halaman itu menyatakan pilihan yang berbeda. Canonical hanya petunjuk bagi Google, dan Google memilih berdasarkan semua sinyal yang dikumpulkannya.

Cara mengeceknya sendiri

Buka alamat yang disebut sebagai canonical, lihat source code-nya, dan cek apakah canonical-nya menunjuk ke alamatnya sendiri.

Dokumentasi resmi: Cara menentukan URL kanonis dengan rel="canonical" dan metode lainnya

Mengapa ini penting

Canonical meminta Google menampilkan alamat lain sebagai pengganti halaman ini, sedangkan noindex meminta agar halaman ini tidak ditampilkan sama sekali. Untuk halaman duplikat dalam satu website, Google lebih menyarankan canonical daripada noindex.

Cara mengeceknya sendiri

Cari noindex dan canonical ke alamat lain di source code halaman, dan di header-nya dengan curl -I. Seharusnya hanya salah satu yang tersisa.

Dokumentasi resmi: Cara menentukan URL kanonis dengan rel="canonical" dan metode lainnya

Mengapa ini penting

Google menganggap setiap alamat di sitemap sebagai usulan canonical, dan menyarankan agar sitemap tidak mencantumkan alamat yang halamannya menyebut alamat lain sebagai canonical. Halaman dengan noindex justru meminta untuk tidak ditampilkan.

Cara mengeceknya sendiri

Begitu sitemap diperbarui, buka sitemap itu dan cari alamat halaman ini.

Dokumentasi resmi: Membuat dan mengirimkan peta situs