Setiap mesin AI yang menjawab pertanyaan berbasis web memiliki crawler sendiri untuk mengumpulkan informasi terbaru dari internet. Sayangnya, banyak website secara tidak sengaja memblokir crawler ini melalui konfigurasi robots.txt atau firewall yang terlalu ketat — membuat brand tersebut praktis tidak terlihat oleh AI.
Crawler AI utama yang perlu Anda kenali
GPTBot (OpenAI) merayapi konten untuk melatih dan memperkaya jawaban ChatGPT. ClaudeBot (Anthropic) melakukan hal serupa untuk Claude. PerplexityBot mengindeks konten secara real-time untuk menjawab kueri Perplexity. Googlebot sendiri kini juga menjadi sumber data untuk Gemini dan AI Overview. Masing-masing memiliki user-agent yang bisa diidentifikasi di access log server Anda.
Cara memeriksa apakah crawler AI bisa mengakses situs Anda
Periksa file robots.txt Anda di domain-anda.com/robots.txt. Jika ada baris "Disallow: /" tanpa pengecualian untuk user-agent AI di atas, crawler tersebut tidak bisa membaca konten Anda sama sekali. Anda juga bisa memeriksa access log server untuk melihat apakah bot-bot ini benar-benar pernah mengunjungi situs Anda dalam 30 hari terakhir.
Fratello — Platform GEO
Sudah tahu brand Anda disebut di ChatGPT atau Gemini?
Fratello memantau visibilitas brand Anda di 4 mesin AI sekaligus — otomatis, setiap minggu.
Coba gratis →Konfigurasi yang direkomendasikan
Untuk brand yang ingin memaksimalkan visibilitas AI, izinkan akses penuh untuk halaman publik (produk, blog, tentang kami) tapi tetap blokir halaman sensitif seperti dashboard internal, halaman checkout, atau data pelanggan. Ini sama persis dengan prinsip robots.txt untuk Googlebot, hanya diperluas untuk mencakup user-agent AI.
Jangan sampai konten Anda diblokir tanpa disadari
Beberapa provider hosting dan CDN kini menyediakan opsi "blokir AI crawler" secara default sebagai fitur privasi — niatnya baik, tapi bisa jadi bumerang bagi brand yang justru ingin disebut AI. Fratello merekomendasikan brand untuk secara eksplisit meninjau ulang konfigurasi ini setidaknya sekali per kuartal, terutama setelah migrasi hosting atau perubahan CDN.