Ringkasan
Cloudflare Perketat Blokir AI Crawler: Aturan Baru Mulai 15 September 2026
Cloudflare mengumumkan perubahan signifikan dalam kebijakan pengelolaan AI crawler. Mulai 15 September 2026, semua domain baru yang menggunakan Cloudflare akan secara default memblokir crawler untuk pelatihan AI (Training) dan agen AI (Agent) pada halaman yang menampilkan iklan. Langkah ini merupakan respons terhadap kenyataan bahwa bot traffic kini telah melampaui human traffic di internet.
 |
| Ilustrasi Cloudflare AI |
Pendahuluan
Cloudflare, perusahaan yang menangani sekitar 20% lalu lintas web global, mengambil langkah tegas dalam mengelola AI crawler. Dalam pengumuman yang dirilis pada 1 Juli 2026, Cloudflare memperkenalkan kontrol baru yang memungkinkan pemilik situs mengelola traffic AI berdasarkan tiga kategori perilaku: Search, Agent, dan Training.
Langkah ini didasarkan pada data yang menunjukkan bahwa bot traffic kini telah melampaui human traffic di internet, dengan AI bot yang berkembang pesat. CEO Cloudflare Matthew Prince mengatakan tonggak sejarah ini datang lebih cepat dari perkiraan—awalnya diprediksi baru terjadi pada 2027.
Tiga Kategori AI Traffic
Cloudflare mengelompokkan AI traffic ke dalam tiga kategori perilaku yang dapat dikontrol secara independen. Ini memungkinkan pemilik situs untuk mempertahankan traffic otomatis yang mengirim pembaca dan pendapatan kembali, sambil memblokir traffic yang hanya mengambil konten.
| Kategori | Deskripsi | Contoh Penggunaan |
|---|---|---|
| Search | Crawler yang mengindeks konten untuk menjawab pertanyaan di kemudian hari | Googlebot, Bingbot untuk search indexing |
| Agent | Aktivitas otomatis yang bertindak secara real-time atas nama seseorang | Chat fetch bots, browser-use agents |
| Training | Crawler yang mengambil konten untuk melatih atau menyempurnakan model AI | GPTBot, ClaudeBot, Bytespider |
Dengan kategorisasi ini, pemilik situs dapat menerapkan kebijakan berbeda untuk setiap jenis traffic.
Aturan Baru Mulai 15 September 2026
Mulai 15 September 2026, Cloudflare akan menerapkan default baru untuk domain yang baru bergabung:
- Training dan Agent crawler akan diblokir secara default pada halaman yang menampilkan iklan
- Search crawler tetap diizinkan secara default
Perubahan ini juga berdampak pada crawler multi-tujuan (multi-purpose crawlers) yang menggabungkan fungsi Search dan Training. Crawler seperti Googlebot, Applebot, dan BingBot akan terpengaruh oleh default baru untuk memblokir Training. Ini berarti jika situs memblokir Training crawler, multi-purpose crawlers yang melakukan fungsi Training akan diblokir—bahkan jika Search diizinkan.
"Mixed-Purpose Crawler" dan Dampaknya
Ini adalah bagian yang paling signifikan dari perubahan. Googlebot adalah contoh klasik crawler multi-tujuan—digunakan baik untuk indeks pencarian Google maupun untuk mengumpulkan data bagi AI Overviews dan fitur AI lainnya. Cloudflare menunjukkan bahwa Google memiliki rasio crawl-to-click sekitar 14:1—setiap 14 halaman yang di-crawl hanya menghasilkan 1 klik. Sementara OpenAI memiliki rasio 1.700:1 dan Anthropic 73.000:1.
Dengan kebijakan baru, situs yang memilih memblokir Training crawler secara efektif juga akan memblokir Googlebot dan crawler multi-tujuan lainnya dari mengakses konten mereka—kecuali mereka secara khusus memilih keluar dari default baru.
Opsi untuk "Opt Out"
Semua pelanggan Cloudflare dapat memilih keluar dari default baru kapan saja sebelum 15 September 2026. Ini memungkinkan situs mempertahankan perilaku saat ini, di mana crawler yang melakukan fungsi Search dapat terus mengakses konten.
Fitur Kontrol AI Crawler
Block AI Bots
Cloudflare menyediakan fitur untuk memblokir AI bot yang terverifikasi. Saat diaktifkan, Cloudflare akan memblokir bot-bot yang dikategorikan sebagai AI crawler, termasuk:
| Bot | Operator |
|---|---|
| Amazonbot | Amazon |
| Applebot | Apple |
| Bytespider | ByteDance |
| ClaudeBot | Anthropic |
| DuckAssistBot | DuckDuckGo |
| Google-CloudVertexBot | |
| GoogleOther | |
| GPTBot | OpenAI |
| Meta-ExternalAgent | Meta |
| PetalBot | Huawei |
| TikTokSpider | ByteDance |
| CCBot | Common Crawl |
Fitur ini tersedia untuk semua paket Cloudflare. Pengguna dapat memilih tiga opsi: blokir di semua halaman, blokir hanya di halaman dengan iklan, atau tidak memblokir sama sekali.
AI Crawl Control
AI Crawl Control memungkinkan pengguna mengelola crawler AI secara lebih spesifik. Fitur ini tersedia di dashboard Cloudflare dan memungkinkan:
- Memantau aktivitas AI crawler yang berinteraksi dengan domain
- Memblokir crawler individu dengan pilihan Allow, Block, atau Charge
- Mengonfigurasi respons blokir dengan kode HTTP (403 Forbidden atau 402 Payment Required) dan pesan kustom
BotBase: Database Bot Terpusat
Cloudflare meluncurkan BotBase, database pencarian bot yang diketahui, termasuk Verified Bots dan AI agents. BotBase memberi pelanggan Enterprise Bot Management akses ke klasifikasi dan perilaku bot berdasarkan taksonomi bot terbaru Cloudflare.
Dengan BotBase, administrator dapat:
- Menelusuri katalog bot yang terverifikasi
- Mencari bot tertentu
- Melihat klasifikasi bot
- Menyaring traffic berdasarkan bot individu
- Menyalin detection ID untuk digunakan dalam aturan keamanan
Content Use Controls
Cloudflare menambahkan kontrol penggunaan konten yang memungkinkan pelanggan Enterprise Bot Management mendefinisikan bagaimana bot dapat menggunakan konten setelah crawling. Tiga level yang tersedia:
| Level | Deskripsi |
|---|---|
| Immediate | Tidak ada penyimpanan atau penggunaan ulang |
| Reference | Indeksasi, cuplikan, dan tautan balik |
| Full | Ringkasan atau reproduksi penuh |
Cloudflare memperluas format Content Signals di robots.txt dengan parameter use baru untuk mengekspresikan preferensi ini. Bot terverifikasi yang mengabaikan preferensi ini atau mereproduksi konten secara penuh dapat kehilangan status Verified mereka.
"Pay Per Crawl" dan "Pay Per Use"
Cloudflare telah mengembangkan model monetisasi untuk konten yang digunakan dalam pelatihan AI. Pada Juli 2025, Cloudflare meluncurkan "Pay Per Crawl"—mengenakan biaya kepada perusahaan AI setiap kali crawler mereka mengakses konten.
Pada 2026, Cloudflare meningkatkan model ini menjadi "Pay Per Use". Perbedaannya: alih-alih membayar per crawl, pembayaran hanya terjadi ketika konten benar-benar menghasilkan nilai—misalnya ketika digunakan untuk menghasilkan jawaban AI atau muncul dalam hasil pencarian AI.
Mitra awal dalam program ini adalah Ceramic.ai dan You.com. Penerbit besar seperti Condé Nast dan Reddit telah mendukung inisiatif ini.
"Transitive Trust" untuk AI Agents
Cloudflare mengusulkan model transitive trust untuk AI agents dan bot yang beroperasi melalui platform pihak ketiga. Perusahaan berencana menggunakan header HTTP Forwarded untuk mengidentifikasi peminta asli di balik perantara.
Ini akan memungkinkan pemilik situs menerapkan kebijakan kepercayaan dan akses berdasarkan operator bot asli, bukan perantara yang menangani permintaan.
Latar Belakang: Mengapa Cloudflare Bertindak Sekarang?
Bot Traffic Melampaui Human Traffic
Cloudflare mengungkapkan bahwa bot traffic kini telah melampaui human traffic di internet. Ini adalah titik balik yang signifikan. CEO Cloudflare Matthew Prince mengatakan tonggak ini datang lebih cepat dari perkiraan—awalnya diprediksi baru terjadi pada 2027.
"Kontrak Sosial" yang Rusak
Cloudflare secara blak-blakan menyatakan bahwa "search-for-traffic" contract yang menjadi fondasi internet selama 30 tahun telah rusak. Dulu, crawler mengindeks konten dan sebagai imbalannya memberikan traffic. Di era AI, model ini tidak lagi berfungsi. AI crawler mengambil konten untuk melatih model, tetapi hampir tidak pernah mengirim traffic balik.
Rasio Crawl-to-Click yang Tidak Seimbang
Cloudflare mempublikasikan data yang menunjukkan ketidakseimbangan ekstrem:
| Perusahaan | Rasio Crawl-to-Click |
|---|---|
| 14:1 | |
| OpenAI | 1.700:1 |
| Anthropic | 73.000:1 |
Data ini menunjukkan bahwa AI crawler mengambil jauh lebih banyak daripada yang mereka berikan kembali dalam bentuk traffic atau nilai.
Dampak bagi Pemilik Website
Situs dengan Iklan
Bagi situs yang mengandalkan pendapatan iklan, default baru Cloudflare akan secara otomatis melindungi mereka dari crawler Training dan Agent di halaman dengan iklan. Ini berarti situs tidak perlu lagi mengonfigurasi sendiri perlindungan terhadap AI crawler.
Situs yang Menginginkan Visibilitas
Bagi situs yang menginginkan visibilitas maksimum di mesin pencari, ada pertimbangan yang lebih kompleks. Jika mereka memilih untuk memblokir Training crawler, mereka juga akan memblokir mixed-purpose crawler seperti Googlebot—yang dapat mempengaruhi peringkat pencarian. Cloudflare menawarkan opsi "opt out" sebelum 15 September untuk mempertahankan perilaku saat ini.
Kemudahan Pengelolaan
Cloudflare menyederhanakan pengelolaan AI crawler dengan:
- Dashboard terpusat untuk memantau aktivitas crawler
- Opsi satu-klik untuk memblokir atau mengizinkan crawler tertentu
- Kemampuan untuk mengonfigurasi respons blokir dengan pesan kustom
Analisis: Mengapa Langkah Ini Penting
Pergeseran dari "Default Allow" ke "Default Block"
Perubahan paling signifikan adalah pergeseran filosofis: dari "default allow, Anda dapat memilih untuk memblokir" menjadi "default block, Anda dapat memilih untuk mengizinkan". Ini adalah pertama kalinya infrastruktur internet mengambil langkah sistematis untuk membatasi akses AI crawler.
Memisahkan Search dari Training
Cloudflare memaksa perusahaan AI untuk memisahkan crawler pencarian mereka dari crawler pelatihan. Ini menantang praktik Google menggunakan Googlebot sebagai crawler multi-tujuan. Dengan kebijakan baru, situs dapat mengizinkan search indexing sambil memblokir training—tetapi hanya jika crawler benar-benar terpisah.
Cloudflare sebagai "Penyimpan Tol"
Cloudflare memposisikan diri sebagai "stasiun tol" untuk AI content. Dengan mengelola akses ke 20% traffic web global, Cloudflare memiliki leverage signifikan untuk menegakkan aturan baru. Namun, ini juga menimbulkan pertanyaan tentang konsentrasi kekuasaan di tangan satu perusahaan infrastruktur.
Penutup
Cloudflare telah mengambil langkah tegas dalam mengelola AI crawler dengan mengubah filosofi default dari "allow" menjadi "block". Mulai 15 September 2026, Training dan Agent crawler akan diblokir secara default pada halaman dengan iklan, dan mixed-purpose crawler seperti Googlebot juga akan terpengaruh.
Langkah ini merupakan respons terhadap kenyataan bahwa bot traffic telah melampaui human traffic dan "search-for-traffic" contract yang menjadi fondasi internet selama 30 tahun telah rusak. Dengan rasio crawl-to-click yang sangat tidak seimbang—Anthropic 73.000:1, OpenAI 1.700:1, Google 14:1—pemilik konten akhirnya memiliki alat untuk melindungi konten mereka.
Cloudflare juga memperkenalkan model monetisasi "Pay Per Use" dan database BotBase untuk memberikan kontrol lebih besar kepada pemilik situs. Namun, pertanyaan tetap ada: apakah langkah ini akan cukup untuk mengembalikan keseimbangan antara kreator konten dan perusahaan AI, atau hanya akan menggeser medan pertempuran ke wilayah lain?
FAQ
1. Apa yang berubah dengan kebijakan AI crawler Cloudflare?
Mulai 15 September 2026, domain baru di Cloudflare akan secara default memblokir Training dan Agent crawler di halaman dengan iklan. Mixed-purpose crawler yang menggabungkan Search dan Training juga akan terpengaruh.
2. Apa perbedaan antara Search, Agent, dan Training crawler?
Search crawler mengindeks konten untuk pencarian, Agent crawler bertindak real-time atas nama pengguna, dan Training crawler mengambil konten untuk melatih model AI.
3. Bagaimana dampaknya pada Googlebot?
Googlebot adalah mixed-purpose crawler yang digunakan untuk search dan training. Jika situs memblokir Training crawler, Googlebot yang melakukan fungsi Training juga akan diblokir.
4. Apakah saya bisa memilih keluar dari default baru?
Ya. Semua pelanggan Cloudflare dapat memilih keluar dari default baru kapan saja sebelum 15 September 2026.
5. Apa itu BotBase?
BotBase adalah database bot Cloudflare yang melacak semua bot yang diketahui, termasuk Verified Bots dan AI agents, dengan informasi klasifikasi dan perilaku.
6. Apa itu "Pay Per Use"?
Pay Per Use adalah model monetisasi di mana penerbit dibayar ketika konten mereka benar-benar menghasilkan nilai dalam sistem AI—misalnya saat digunakan untuk menghasilkan jawaban AI atau muncul dalam hasil pencarian AI.
Kesimpulan
Cloudflare telah mengambil langkah tegas dalam mengelola AI crawler dengan mengubah filosofi default dari "allow" menjadi "block". Mulai 15 September 2026, Training dan Agent crawler akan diblokir secara default pada halaman dengan iklan, dan mixed-purpose crawler seperti Googlebot juga akan terpengaruh.
Langkah ini merupakan respons terhadap kenyataan bahwa bot traffic telah melampaui human traffic dan "search-for-traffic" contract yang menjadi fondasi internet selama 30 tahun telah rusak. Dengan rasio crawl-to-click yang sangat tidak seimbang, pemilik konten akhirnya memiliki alat untuk melindungi konten mereka.
Baca
Sumber dan Referensi
Berikut adalah daftar sumber resmi dan referensi yang digunakan dalam penulisan artikel ini: