TULUS
Hubungi kami
TULUS

Cek crawler AI

Crawler AI mana saja yang boleh mengambil halaman ini menurut robots.txt-nya, dan untuk apa masing-masing?

Read in English

Contoh: bisnisanda.com/layanan

Tools ini berjalan di browser Anda dengan JavaScript, tetapi JavaScript sedang tidak aktif. Kalau Anda ingin halaman Anda dibaca langsung oleh orang: Minta Search Presence Review (dalam bahasa Inggris)

Laporan disimpan selama 24 jam, dan hanya bisa dibuka dari browser ini. Kebijakan privasi (dalam bahasa Inggris)

Ingin website Anda dibaca langsung oleh orang? Minta Search Presence Review (dalam bahasa Inggris) Sudah tahu apa yang perlu diubah? Bicarakan proyek Anda (lewat WhatsApp)

Apa yang dicek

Tools ini membaca robots.txt website itu untuk setiap crawler AI dalam daftarnya, masing-masing seperti yang dijelaskan pengelolanya, lalu tag meta robots dan header halaman itu sendiri: 13 cek dalam tiga kelompok. Untuk setiap cek, laporan menjelaskan apa yang ditemukan, mengapa itu penting, dan cara mengeceknya sendiri.

Semua 13 cek

Surface

Cara alamat menjawab, dan ke mana ia mengarah.

  • Jawaban server untuk alamat ini Jika halaman menjawab dengan error, Google bisa menghapusnya dari hasil pencariannya.
  • Redirect menuju halaman Setiap redirect adalah jalan memutar menuju halaman, dan terlalu banyak membuat Google menyerah.

Structure

Tag dan header yang dibaca crawler.

  • Aturan halaman untuk fitur AI mesin pencari Apa yang diizinkan tag halaman ini untuk dipakai fitur AI di Google dan Bing.

Presence

Izin untuk di-crawl dan diindeks, serta sitemap.

  • File robots.txt website ini robots.txt adalah berkas aturan untuk mesin pencari; jika menjawab dengan error, Google bisa menghentikan sementara crawling seluruh website.
  • Ukuran robots.txt Google hanya membaca 500 KB pertama robots.txt dan mengabaikan sisanya.
  • robots.txt untuk Googlebot Jika robots.txt memblokir crawler Google, Google tidak bisa membaca halaman ini.
  • robots.txt untuk Bingbot Jika robots.txt memblokir crawler Bing, Bing tidak bisa membaca halaman ini.
  • Tag meta robots Tag noindex meminta Google sama sekali tidak menampilkan halaman ini di hasil pencariannya.
  • Header X-Robots-Tag Noindex di header halaman meminta Google sama sekali tidak menampilkannya di hasil pencariannya.
  • robots.txt untuk crawler pencarian dan jawaban AI Jika crawler pencarian AI diblokir, layanan AI seperti pencarian ChatGPT mungkin tidak menyertakan halaman Anda dalam jawabannya.
  • robots.txt untuk pelatihan model AI Apakah perusahaan AI boleh memakai halaman Anda untuk melatih modelnya adalah pilihan Anda, diatur di robots.txt.
  • robots.txt untuk pengambilan yang diminta pengguna Asisten AI mengambil halaman saat seseorang memintanya, dan robots.txt mungkin tidak menghentikannya.
  • Nama crawler AI di robots.txt Nama crawler di robots.txt yang salah eja atau sudah tidak dipakai tidak cocok dengan crawler mana pun, jadi aturannya tidak berlaku bagi siapa pun.

Contoh

Hasil pengecekan sungguhan untuk tulus.studio, pada 16 Oktober 2026.

Contoh laporannya

Laporan: https://tulus.studio/

Dicek
16 Oktober 2026, pukul 01.13 WIB

1 halaman dicek, beserta robots.txt website-nya. 9 cek yang berlaku sudah dijalankan.

Tidak ada yang perlu diperbaiki.

Cek di setiap kelompok

  • Surface:

    2 lolos

    Cara alamat menjawab, dan ke mana ia mengarah.

  • Structure:

    Tidak ada cek yang berlaku

    Tag dan header yang dibaca crawler.

  • Presence:

    7 lolos

    Izin untuk di-crawl dan diindeks, serta sitemap.

Setiap potongan lingkaran mewakili satu cek.

  • Lolos
  • Peringatan
  • Error
Siapa yang boleh mengambil halaman ini

robots.txt https://tulus.studio/robots.txt menjawab 200

Ada, dengan 1 grup aturan.

  • Pencarian dan jawaban Tidak ada yang diblokir
  • Pelatihan model Tidak ada yang diblokir
  • Atas permintaan pengguna Tidak ada yang diblokir
Crawler Menurut robots.txt Baris yang menentukan
Pencarian dan jawaban Tidak ada yang diblokir Crawler untuk hasil pencarian dan jawaban yang menampilkan halaman sumbernya atau memberi link ke sana.
Claude-SearchBot Anthropic Meng-crawl web untuk meningkatkan kualitas, relevansi, dan akurasi hasil pencarian bagi pengguna. Halaman Anthropic tentang Claude-SearchBot Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
Applebot Apple Meng-crawl untuk pencarian di Spotlight, Siri, dan Safari, dan data yang di-crawl-nya juga bisa membantu melatih model AI Apple. Halaman Apple tentang Applebot Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
DuckAssistBot DuckDuckGo Meng-crawl halaman secara real time untuk jawaban berbantuan AI di DuckDuckGo, yang mencantumkan sumbernya. Halaman DuckDuckGo tentang DuckAssistBot Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
Meta-WebIndexer Meta Meng-crawl web untuk meningkatkan kualitas hasil pencarian Meta AI. Halaman Meta tentang Meta-WebIndexer Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
MistralAI-Index Mistral AI Meng-crawl web untuk mengindeks konten bagi pencarian Mistral, yang membantu menjawab pertanyaan orang di Vibe. Halaman Mistral AI tentang MistralAI-Index Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
OAI-SearchBot OpenAI Dipakai untuk menampilkan website sebagai hasil di fitur pencarian ChatGPT. Halaman OpenAI tentang OAI-SearchBot Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
PerplexityBot Perplexity Dipakai untuk menampilkan website, lengkap dengan link-nya, di hasil pencarian Perplexity. Halaman Perplexity tentang PerplexityBot Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
Googlebot Google Meng-crawl untuk Google Penelusuran dan semua fiturnya, termasuk Ringkasan AI dan Mode AI. Halaman Google tentang Googlebot Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
Bingbot Microsoft Crawler standar Bing, yang crawling dan pengindeksannya juga diandalkan Copilot, menurut Microsoft. Halaman Microsoft tentang Bingbot Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
Pelatihan model Tidak ada yang diblokir Crawler yang mengumpulkan konten untuk melatih model AI, dan token yang menentukan apakah halaman yang diambil crawler lain boleh dipakai untuk itu.
Amazonbot Amazon Dipakai untuk meningkatkan produk dan layanan Amazon, dan bisa juga untuk melatih model AI Amazon. Halaman Amazon tentang Amazonbot Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
ClaudeBot Anthropic Mengumpulkan konten web yang bisa membantu melatih model AI generatif Anthropic. Halaman Anthropic tentang ClaudeBot Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
CCBot Common Crawl Membangun repositori data web terbuka milik Common Crawl, sumber utama data pelatihan bagi banyak model bahasa besar. Halaman Common Crawl tentang CCBot Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
Meta-ExternalAgent Meta Meng-crawl web untuk keperluan seperti melatih model AI, atau meningkatkan produk dengan mengindeks konten secara langsung. Halaman Meta tentang Meta-ExternalAgent Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
MistralAI-Training Mistral AI Meng-crawl konten web untuk membantu menyusun dataset pelatihan model AI generatif Mistral. Halaman Mistral AI tentang MistralAI-Training Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
GPTBot OpenAI Meng-crawl konten yang bisa dipakai untuk melatih model AI generatif OpenAI. Halaman OpenAI tentang GPTBot Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
Applebot-Extended Apple Memberi tahu Apple apakah konten yang di-crawl Applebot boleh dipakai untuk melatih model dasar Apple. Halaman Apple tentang Applebot-Extended Tidak mengambil apa pun: aturannya menentukan pemakaian halaman yang diambil crawler lain. Menurut robots.txt: Boleh dipakai Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
Google-Extended Google Memberi tahu Google apakah konten yang di-crawl-nya boleh dipakai untuk melatih model Gemini dan untuk grounding jawaban di Aplikasi Gemini dan Vertex AI. Halaman Google tentang Google-Extended Tidak mengambil apa pun: aturannya menentukan pemakaian halaman yang diambil crawler lain. Menurut robots.txt: Boleh dipakai Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
Atas permintaan pengguna Tidak ada yang diblokir Halaman yang diambil karena seseorang meminta asisten AI membukanya.
Amzn-User Amazon Bisa mengambil informasi terbaru dari web, ketika pertanyaan seseorang kepada Alexa membutuhkannya. Halaman Amazon tentang Amzn-User Menurut Amazon, robots.txt mungkin tidak berlaku untuk crawler ini. Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
Claude-User Anthropic Bisa mengakses sebuah website ketika seseorang mengajukan pertanyaan kepada Claude. Halaman Anthropic tentang Claude-User Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
Meta-ExternalFetcher Meta Mengambil link satu per satu atas permintaan seseorang, termasuk untuk membantu AI menjelajahi website dan menyelesaikan tugas. Halaman Meta tentang Meta-ExternalFetcher Menurut Meta, robots.txt mungkin tidak berlaku untuk crawler ini. Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
MistralAI-User Mistral AI Bisa mengunjungi halaman web untuk membantu menjawab pertanyaan seseorang di Vibe milik Mistral. Halaman Mistral AI tentang MistralAI-User Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
ChatGPT-User OpenAI Bisa mengunjungi halaman web ketika seseorang bertanya kepada ChatGPT atau GPT kustom. Halaman OpenAI tentang ChatGPT-User Menurut OpenAI, robots.txt mungkin tidak berlaku untuk crawler ini. Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /
Perplexity-User Perplexity Bisa mengunjungi halaman web untuk membantu menjawab pertanyaan seseorang di Perplexity. Halaman Perplexity tentang Perplexity-User Menurut Perplexity, crawler ini umumnya mengabaikan robots.txt. Menurut robots.txt: Boleh mengambil Baris yang menentukan: baris 1 User-agent: * baris 2 Allow: /

Setiap crawler seperti yang dijelaskan pengelolanya, dibaca pada 15 Oktober 2026.

Surface

Lolos 2 dari 2 cek yang berlaku

Cara alamat menjawab, dan ke mana ia mengarah.

2 cek yang tidak perlu diperbaiki
Jawaban server untuk alamat ini

Lolos Teramati

Setelah redirect (kalau ada), alamat ini menjawab dengan kode status sukses (2xx).

Selengkapnya tentang cek ini
Mengapa ini penting
Google bisa mempertimbangkan halaman yang menjawab 2xx untuk diindeks, walaupun belum tentu mengindeksnya. Alamat yang menjawab 4xx tidak diindeks Google, dan alamat yang terus-menerus menjawab 5xx lama-kelamaan dihapus dari indeks.
Cara mengeceknya sendiri
Jalankan curl -IL untuk alamat ini dan baca kode status di jawaban terakhir. Di Search Console, lakukan tes live di URL Inspection untuk alamat akhir setelah redirect: hasilnya menunjukkan apakah Google bisa mengambil halaman itu.

Dokumentasi resmi: Pengaruh kode status HTTP terhadap crawler Google

Bukti

  1. Jawaban server https://tulus.studio/ 

    200 OK
Redirect menuju halaman

Lolos Teramati

Alamat yang dimasukkan langsung sampai ke halamannya, atau lewat paling banyak tiga redirect.

Selengkapnya tentang cek ini
Mengapa ini penting
Google menyarankan agar redirect langsung menuju alamat akhir. Kalau tidak bisa, usahakan rantainya pendek: idealnya paling banyak 3 redirect, dan jangan sampai 5. Crawler Google mengikuti paling banyak 10 redirect, dan Search Console melaporkan rantai yang terlalu panjang atau berputar-putar sebagai error redirect.
Cara mengeceknya sendiri
Jalankan curl -IL untuk alamat ini. Perintah itu menampilkan setiap jawaban secara berurutan, dan hanya jawaban terakhir yang seharusnya 200.

Dokumentasi resmi: Pengalihan dan Google Penelusuran

Bukti

  1. Jawaban server https://tulus.studio/ 

    200 OK

Structure

Tools ini tidak menjalankan cek jenis ini untuk halaman ini.

Tag dan header yang dibaca crawler.

1 cek yang tidak perlu diperbaiki
Aturan halaman untuk fitur AI mesin pencari

Tidak berlaku Teramati

Tag meta robots dan header X-Robots-Tag halaman ini tidak memuat nosnippet, max-snippet, nocache, atau noarchive.

Selengkapnya tentang cek ini
Mengapa ini penting
Menurut Google, nosnippet mencegah konten halaman dipakai sebagai input langsung untuk Ringkasan AI dan Mode AI, sekaligus menghilangkan cuplikannya dari semua hasil penelusuran; max-snippet membatasi keduanya. Menurut Microsoft, noarchive membuat konten tidak dipakai dalam jawaban Copilot, dan nocache membatasi Copilot pada alamat, judul, dan cuplikannya.
Cara mengeceknya sendiri
Buka source code halaman dan cari tag meta robots, lalu jalankan curl -I untuk alamat ini dan baca baris X-Robots-Tag, kalau ada. Di Search Console, URL Inspection menampilkan HTML yang diterima Googlebot.

Dokumentasi resmi: Fitur AI dan situs Anda

Bukti

Tidak ada yang bisa ditunjukkan: temuan ini justru tentang sesuatu yang tidak ada di halaman.

Presence

Lolos 7 dari 7 cek yang berlaku

Izin untuk di-crawl dan diindeks, serta sitemap.

10 cek yang tidak perlu diperbaiki
robots.txt untuk pelatihan model AI

Informasi Teramati

robots.txt sudah dicek untuk 8 crawler dan token pelatihan AI: mana yang boleh mengambil atau memakai alamat ini, dan mana yang dilarang.

Selengkapnya tentang cek ini
Mengapa ini penting
Apakah konten sebuah website dipakai untuk melatih model AI adalah pilihan pemiliknya, dan setiap pengelola di sini menyebut robots.txt sebagai cara menyatakan pilihan itu. Google-Extended dan Applebot-Extended tidak mengambil apa pun: keduanya mengatur pemakaian konten yang di-crawl Google dan Apple, dan keduanya menyatakan bahwa melarangnya tidak mengeluarkan halaman dari hasil pencarian mereka.
Cara mengeceknya sendiri
Buka /robots.txt website ini dan cari grup yang menyebut setiap crawler atau token, atau grup * kalau tidak ada. Halaman setiap pengelola, yang ditautkan di samping barisnya, menyebut nama yang harus dipakai.

Dokumentasi resmi: RFC 9309: Robots Exclusion Protocol

Bukti

  1. robots.txt https://tulus.studio/robots.txt baris 1 

    User-agent: *

  2. robots.txt https://tulus.studio/robots.txt baris 2 

    Allow: /
robots.txt untuk pengambilan yang diminta pengguna

Informasi Teramati

robots.txt sudah dicek untuk 6 agen yang mengambil halaman ketika seseorang memintanya kepada asisten AI. Untuk agen berikut, pengelolanya menyatakan bahwa robots.txt mungkin tidak berlaku: Amzn-User, Meta-ExternalFetcher, ChatGPT-User, Perplexity-User.

Selengkapnya tentang cek ini
Mengapa ini penting
Agen ini mengambil halaman karena seseorang menanyakan sesuatu kepada asisten AI, bukan untuk meng-crawl web. Sebagian pengelolanya menyatakan bahwa robots.txt mungkin tidak berlaku untuk pengambilan seperti itu, jadi aturan Disallow belum tentu bisa menahannya.
Cara mengeceknya sendiri
Buka /robots.txt website ini, cari grup yang menyebut setiap agen, atau grup * kalau tidak ada, lalu baca aturan yang ditunjukkan.

Dokumentasi resmi: RFC 9309: Robots Exclusion Protocol

Bukti

  1. robots.txt https://tulus.studio/robots.txt baris 1 

    User-agent: *

  2. robots.txt https://tulus.studio/robots.txt baris 2 

    Allow: /
robots.txt untuk Googlebot

Lolos Teramati

Tidak ada aturan di robots.txt yang melarang Googlebot mengambil alamat ini.

Selengkapnya tentang cek ini
Mengapa ini penting
Google tidak meng-crawl atau mengindeks konten yang diblokir robots.txt. Namun, alamatnya sendiri tetap bisa muncul di hasil pencarian, tanpa deskripsi, kalau ada halaman lain yang memasang link ke alamat itu.
Cara mengeceknya sendiri
Di Search Console, URL Inspection memberi tahu apakah crawling diizinkan untuk alamat ini, dan laporan robots.txt menampilkan file yang terakhir diambil Google.

Dokumentasi resmi: Cara Google menafsirkan spesifikasi robots.txt

Bukti

  1. robots.txt https://tulus.studio/robots.txt baris 1 

    User-agent: *

  2. robots.txt https://tulus.studio/robots.txt baris 2 

    Allow: /
Tag meta robots

Lolos Teramati

Tidak ada tag meta robots atau googlebot di halaman ini yang berisi noindex atau none.

Selengkapnya tentang cek ini
Mengapa ini penting
Saat Googlebot meng-crawl sebuah halaman dan menemukan noindex, Google menghapus halaman itu dari hasil pencariannya, walaupun ada website lain yang memasang link ke sana. Aturan none sama artinya dengan noindex, nofollow.
Cara mengeceknya sendiri
Buka source code halaman dan cari kata noindex. URL Inspection di Search Console menunjukkan apakah pengindeksan diizinkan.

Dokumentasi resmi: Memblokir pengindeksan Penelusuran dengan noindex

Bukti

  1. HTML https://tulus.studio/ baris 1, kolom 538 

    <meta name="robots" content="index, follow, max-image-preview:large">
Header X-Robots-Tag

Lolos Teramati

Tidak ada header X-Robots-Tag di jawaban server yang berisi noindex atau none, baik untuk semua crawler maupun untuk Googlebot.

Selengkapnya tentang cek ini
Mengapa ini penting
Header X-Robots-Tag memiliki efek yang sama dengan tag meta robots, dan juga berlaku untuk file seperti PDF. Kalau Googlebot menemukan noindex atau none di header ini, Google menghapus alamat itu dari hasil pencariannya.
Cara mengeceknya sendiri
Jalankan curl -I untuk alamat ini dan baca baris X-Robots-Tag, kalau ada. URL Inspection di Search Console menunjukkan apakah pengindeksan diizinkan.

Dokumentasi resmi: Spesifikasi tag meta Robots, data-nosnippet, dan X-Robots-Tag

Bukti

Tidak ada yang bisa ditunjukkan: temuan ini justru tentang sesuatu yang tidak ada di halaman.

File robots.txt website ini

Lolos Teramati

Website ini menyediakan file robots.txt, dan pengecekan ini sudah membacanya.

Selengkapnya tentang cek ini
Mengapa ini penting
Bagi Google, kode 4xx selain 429 berarti tidak ada batasan crawling. Kalau robots.txt menjawab 5xx atau 429, atau gagal diambil, Google berhenti meng-crawl seluruh website selama 12 jam. Setelah itu, Google memakai salinan terakhir yang berhasil diambilnya, hingga 30 hari. Menurut RFC 9309, kalau file ini tidak bisa dijangkau, crawler harus menganggap semua alamat dilarang.
Cara mengeceknya sendiri
Buka /robots.txt website ini di browser, atau jalankan curl -I untuk alamat itu, dan lihat kode statusnya. Laporan robots.txt di Search Console menampilkan versi yang terakhir diambil Google.

Dokumentasi resmi: Cara Google menafsirkan spesifikasi robots.txt

Bukti

  1. Jawaban server https://tulus.studio/robots.txt 

    200 OK, 88 bytes, 1 group
robots.txt untuk Bingbot

Lolos Teramati

Tidak ada aturan di robots.txt yang melarang Bingbot mengambil alamat ini.

Selengkapnya tentang cek ini
Mengapa ini penting
RFC 9309, standar robots.txt, mengharuskan setiap crawler mengikuti grup aturan yang cocok dengan namanya, atau grup * kalau tidak ada yang cocok. Crawler yang mengikuti standar ini tidak mengambil apa yang dilarang grupnya. Memblokir satu mesin pencari bisa jadi memang disengaja.
Cara mengeceknya sendiri
Buka /robots.txt website ini, cari grup untuk Bingbot (atau grup * kalau tidak ada), dan baca aturan yang ditunjukkan.

Dokumentasi resmi: RFC 9309: Robots Exclusion Protocol

Bukti

  1. robots.txt https://tulus.studio/robots.txt baris 1 

    User-agent: *

  2. robots.txt https://tulus.studio/robots.txt baris 2 

    Allow: /
robots.txt untuk crawler pencarian dan jawaban AI

Lolos Teramati

Tidak ada aturan di robots.txt yang melarang satu pun dari 7 crawler pencarian dan jawaban AI yang dicek mengambil alamat ini.

Selengkapnya tentang cek ini
Mengapa ini penting
Crawler ini mengambil halaman untuk hasil pencarian dan jawaban layanan AI. OpenAI, misalnya, menyatakan bahwa website yang melarang OAI-SearchBot tidak ditampilkan di jawaban pencarian ChatGPT, kecuali sebagai link navigasi. Namun, boleh mengambil sebuah halaman tidak sama dengan ditampilkan.
Cara mengeceknya sendiri
Buka /robots.txt website ini, cari grup yang menyebut setiap crawler di daftar itu, atau grup * kalau tidak ada, lalu baca aturan yang ditunjukkan. Applebot mengikuti grup untuk Googlebot kalau tidak ada grup yang menyebut namanya.

Dokumentasi resmi: RFC 9309: Robots Exclusion Protocol

Bukti

  1. robots.txt https://tulus.studio/robots.txt baris 1 

    User-agent: *

  2. robots.txt https://tulus.studio/robots.txt baris 2 

    Allow: /
Ukuran robots.txt

Lolos Teramati

Ukuran robots.txt tidak melebihi batas Google, yaitu 500 KiB.

Selengkapnya tentang cek ini
Mengapa ini penting
Google hanya membaca robots.txt sampai 500 KiB dan mengabaikan sisanya, jadi aturan yang letaknya setelah batas itu tidak berlaku bagi Google.
Cara mengeceknya sendiri
Unduh /robots.txt dan cek ukurannya dalam byte. Laporan robots.txt di Search Console juga menampilkan ukuran file yang diambil Google.

Dokumentasi resmi: Cara Google menafsirkan spesifikasi robots.txt

Bukti

  1. Jawaban server https://tulus.studio/robots.txt 

    88 bytes
Nama crawler AI di robots.txt

Tidak berlaku Teramati

robots.txt tidak menyebut crawler AI mana pun, atau website ini tidak memiliki robots.txt, jadi tidak ada nama yang perlu dicek.

Selengkapnya tentang cek ini
Mengapa ini penting
Crawler mengikuti grup yang baris User-agent-nya cocok dengan namanya, tanpa membedakan huruf besar dan kecil, atau grup * kalau tidak ada yang cocok. Nama yang salah tulis, atau yang sudah tidak dipakai pengelolanya, tidak cocok dengan crawler mana pun, jadi grupnya tidak berlaku untuk siapa pun.
Cara mengeceknya sendiri
Buka /robots.txt website ini, cari setiap baris yang ditandai, lalu bandingkan namanya dengan token di halaman pengelolanya.

Dokumentasi resmi: RFC 9309: Robots Exclusion Protocol

Bukti

Tidak ada yang bisa ditunjukkan: temuan ini justru tentang sesuatu yang tidak ada di halaman.

Dicek dalam 0,7 detik dengan 2 permintaan dan 18 kB data yang diterima.

Yang tidak terlihat oleh tools ini

Dua hal tentang halaman yang dicek berada di luar jangkauan pengecekan publik:

  • Apakah sistem AI menampilkan atau mengutip halaman yang dicek. robots.txt hanya menyatakan siapa yang boleh mengambilnya, dan halaman yang diambil belum tentu ditampilkan.
  • Crawler mana yang benar-benar datang, dan apakah firewall atau CDN menolak sebagian di antaranya, apa pun isi robots.txt. Log server dan pengaturan website Anda sendiri yang menunjukkannya.

Semua yang tidak terlihat dari pengecekan publik

Dokumentasi resmi

Halaman yang menjadi dasar setiap cek.

  1. Pengaruh kode status HTTP terhadap crawler Google
  2. Pengalihan dan Google Penelusuran
  3. Cara Google menafsirkan spesifikasi robots.txt
  4. RFC 9309: Robots Exclusion Protocol
  5. Memblokir pengindeksan Penelusuran dengan noindex
  6. Spesifikasi tag meta Robots, data-nosnippet, dan X-Robots-Tag
  7. Fitur AI dan situs Anda
  8. Halaman Anthropic tentang Claude-SearchBot, ClaudeBot, Claude-User
  9. Halaman Apple tentang Applebot, Applebot-Extended
  10. Halaman DuckDuckGo tentang DuckAssistBot
  11. Halaman Meta tentang Meta-WebIndexer, Meta-ExternalAgent, Meta-ExternalFetcher
  12. Halaman Mistral AI tentang MistralAI-Index, MistralAI-Training, MistralAI-User
  13. Halaman OpenAI tentang OAI-SearchBot, GPTBot, ChatGPT-User
  14. Halaman Perplexity tentang PerplexityBot, Perplexity-User
  15. Halaman Microsoft tentang Bingbot
  16. Halaman Amazon tentang Amazonbot, Amzn-User
  17. Halaman Common Crawl tentang CCBot
  18. Halaman Google tentang Google-Extended

Tools terkait