Crawlere AI, robots.txt și llms.txt: ce poți controla și ce nu

Dacă blochezi GPTBot în robots.txt, nu dispari din ChatGPT. Robotul care decide dacă apari în răspunsurile de căutare ale ChatGPT se numește OAI-SearchBot, iar OpenAI scrie explicit că cele două setări sunt independente: poți refuza antrenarea și accepta căutarea, în același fișier, pe două rânduri diferite. Cine confundă cele două nume ia decizia corectă din motivul greșit sau, mai des, decizia greșită din motivul corect.

Confuzia asta se repetă la fiecare furnizor, pentru că fiecare publică trei roboți diferiți, nu unul. Unul strânge date pentru antrenarea modelelor. Unul construiește indexul de căutare din care se compun răspunsurile cu linkuri. Al treilea deschide o pagină atunci când un utilizator cere asta în conversație. Numele diferă, mecanismul e același la Google, OpenAI, Anthropic, Perplexity, Meta și Apple — iar aproape toate deciziile proaste pe subiect vin din tratarea celor trei ca pe un singur lucru numit „boții AI”.

Articolul ăsta e harta completă: cine te accesează, ce oprește fiecare rând pe care îl scrii, ce plătești în schimb și ce rămâne în afara controlului tău indiferent ce configurezi. Fiecare afirmație are lângă ea documentul din care vine. Ce nu găsești aici: cum devii vizibil în răspunsurile AI — acela e alt subiect, cu cele patru condiții și protocolul de test tratate separat.

Notă: documentația de crawling se schimbă lunar. Google a mutat-o integral pe alt domeniu în ultimele luni, iar pagina despre crawlerele comune a fost actualizată pe 14 iulie 2026. Toate documentele citate mai jos au fost deschise pe 29 iulie 2026, iar data ultimei actualizări a fiecăruia e scrisă lângă el.

Trei straturi de roboți, nu unul singur

Un furnizor de asistent AI îți accesează site-ul din trei motive care nu au nimic în comun între ele, și publică pentru fiecare un user-agent separat, tocmai ca să poți răspunde diferit.

Tabelul se citește pe verticală, o dată pentru fiecare furnizor pe care îl folosesc clienții tăi. Coloana a treia e singura care contează la scriere: un rând de Disallow acționează asupra unui user-agent, nu asupra unei companii, iar între GPTBot și OAI-SearchBot diferența de business e totală.

Câteva precizări care nu încap în tabel și care schimbă deciziile:

• Google-Extended nu are un user-agent HTTP propriu. Documentația scrie că accesarea se face cu string-urile obișnuite ale Google, iar tokenul din robots.txt e folosit „într-o capacitate de control”. Nu îl vei vedea niciodată în loguri.
• Applebot-Extended funcționează la fel ca token de opt-out din antrenare, în timp ce Applebot rămâne robotul care alimentează Spotlight, Siri și Safari.
• Meta-ExternalFetcher e singurul din lista Meta despre care documentația spune că „poate ocoli regulile robots.txt”, pentru că preluarea e cerută de un utilizator.
• CCBot nu aparține niciunui asistent. Common Crawl e o arhivă deschisă, iar datele ei sunt folosite de mai mulți furnizori — deci blocarea lui are efect indirect, greu de urmărit.

Ce face și ce nu face un Disallow din robots.txt

robots.txt controlează accesarea, nu afișarea. Un robot care respectă regula nu descarcă pagina; nimic din ce urmează după descărcare nu mai e influențat de acel rând. Distincția asta explică majoritatea surprizelor.

Regulile mecanice, din specificația Google actualizată pe 8 iulie 2026:

Interpretarea tabelului e una singură: fișierul e un document per subdomeniu, cu efect întârziat și cu un dialect ușor diferit la fiecare furnizor. Îl verifici pe fiecare subdomeniu separat, nu o dată pe domeniul principal.

Urmează contra-cazul, care surprinde pe toată lumea și e scris negru pe alb în documentația Google: regulile de tip nosnippet sau noindex sunt descoperite atunci când pagina e accesată. Dacă pagina e blocată din robots.txt, aceste reguli nu sunt găsite și, prin urmare, sunt ignorate. Cu alte cuvinte, blocarea agresivă anulează exact controalele fine pe care le-ai pus ca să limitezi afișarea. Dacă vrei ca o instrucțiune de afișare să fie respectată, pagina care o conține nu are voie să fie blocată de la accesare.

# Grup pe user-agent: regula se aplică unui singur robot
User-agent: Google-Extended
Disallow: /

# Un alt grup, alt robot, altă decizie
User-agent: OAI-SearchBot
Allow: /

Cazul practic cel mai frecvent nu e o decizie, ci o rămășiță: un Disallow: / uitat de la o dezvoltare sau de la o mutare de domeniu, care nu a fost scos la lansare. Se întâmplă suficient de des încât să merite un pas separat în orice mutare de site fără pierdere de indexare.

GPTBot sau OAI-SearchBot: care dintre ele te scoate din ChatGPT

Răspunsul la întrebarea din titlu e o propoziție din documentația OpenAI, iar merită citită în original, pentru că e mai clară decât orice parafrază:

„Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.” — OpenAI, Overview of OpenAI Crawlers, consultat 29 iulie 2026

Deci: OAI-SearchBot e robotul care decide apariția în răspunsurile de căutare din ChatGPT. GPTBot, în același document, e descris ca robotul care colectează conținut ce „poate fi folosit în antrenarea modelelor noastre generative de bază”. Sunt două întrebări de business complet diferite, iar OpenAI spune explicit că răspunsurile pot fi diferite: „fiecare setare este independentă de celelalte”, cu exemplul unui webmaster care permite OAI-SearchBot ca să apară în rezultate și refuză GPTBot ca să nu contribuie la antrenare.

# Refuz antrenarea, accept căutarea. Două rânduri, două decizii.
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Al treilea user-agent, ChatGPT-User, e cel care deschide o pagină atunci când cineva o cere în conversație. Documentația spune că nu e folosit pentru accesare automată și că, pentru că acțiunile sunt inițiate de un utilizator, „regulile robots.txt pot să nu se aplice”. Aceeași sursă precizează că ChatGPT-User nu determină dacă un conținut poate apărea în Căutare — pentru asta se folosește tot OAI-SearchBot.

Mai e un detaliu de sintaxă care decide dacă rândurile de mai sus au vreun efect. Specificația Google spune că, pentru un crawler dat, este valabil un singur grup — cel cu user-agentul care se potrivește cel mai exact — iar celelalte grupuri se ignoră, indiferent de ordinea lor în fișier. Consecința e contraintuitivă și explică multe configurări care „nu au funcționat”: dacă ai un grup User-agent: * cu Disallow: / și, mai jos, un grup dedicat lui OAI-SearchBot, robotul respectiv citește doar grupul lui. Ce ai scris în grupul general nu i se aplică deloc — nici ca restricție, nici ca permisiune moștenită.

Trei consecințe practice, în ordinea în care se aplică:

1. Dacă obiectivul e să nu contribui la antrenare, blochezi robotul de antrenare al fiecărui furnizor și te oprești acolo.
2. Dacă obiectivul e vizibilitate, verifici că robotul de căutare al fiecărui furnizor e permis — la Perplexity, documentația recomandă explicit permiterea lui PerplexityBot.
3. Orice modificare are nevoie de aproximativ 24 de ore ca să fie preluată, deci se face înainte de o lansare, nu în ziua ei.

Odată ce accesul e rezolvat, întrebarea se mută pe conținut: ce anume publici ca să fii sursa aleasă. Acolo intervin structura activului și protocolul de validare a citării, care presupun toate poarta deja deschisă.

AI Overviews și AI Mode: singurul control real are un cost

Pentru suprafețele generative din Căutarea Google, robots.txt nu îți dă un control separat. Documentația e explicită: AI-ul e integrat în Search, motiv pentru care directivele robots.txt pentru Googlebot sunt controlul de acces, iar limitarea a ceea ce se afișează se face cu nosnippet, data-nosnippet, max-snippet sau noindex. Nu există un token separat de tip „AI Overviews”.

Ce funcționează efectiv, cu prețul fiecărei opțiuni:

Al treilea rând e cel care lipsește din aproape toate discuțiile pe tema asta, și e singurul care separă cele două lucruri pe care lumea le confundă: poți ieși din funcțiile generative fără să ieși din Căutare. Valoarea implicită a setării, pentru toate proprietățile, este „include” — deci nu e ceva de activat, e ceva de verificat că nu a fost oprit de altcineva.

Merită separat și Google-Extended, pentru că numele lui sugerează mai mult decât acoperă. Documentația listează exact produsele afectate:

• antrenarea generațiilor viitoare de modele Gemini care alimentează aplicațiile Gemini și API-ul Vertex AI pentru Gemini;
• grounding-ul — adică furnizarea de conținut din indexul Căutării către model, la momentul întrebării — în aplicațiile Gemini și în Grounding with Google Search pe Vertex AI.

Aceeași pagină spune că Google-Extended nu afectează includerea site-ului în Google Search și nu e folosit ca semnal de clasare. AI Overviews și AI Mode nu figurează în lista produselor afectate — iar asta e o observație despre ce scrie în document, nu o deducție despre ce se întâmplă în spatele lui.

Apple funcționează pe același tipar, cu o particularitate: documentul despre Applebot recomandă nosnippet ca opt-out din răspunsurile generative Apple, separat de Applebot-Extended, care acoperă antrenarea. Din nou, două setări, două întrebări.

llms.txt: propunerea, poziția Google și ce arată logurile

llms.txt nu e un standard. E o propunere, iar cuvântul vine din subtitlul propriului document: „o propunere de standardizare a folosirii unui fișier /llms.txt pentru a oferi informații care ajută modelele lingvistice să folosească un site la momentul inferenței”. A fost publicată pe 3 septembrie 2024 de Jeremy Howard. Patru surse spun patru lucruri diferite despre ea, și toate patru sunt adevărate simultan.

Cele două poziții Google nu se contrazic, deși par să o facă: una vorbește despre Căutare, cealaltă despre agenți care navighează pe un site unde au ajuns deja. Exact asta descria și propunerea de la început. Confuzia din piață vine din a citi „util pentru un agent aflat pe site” ca „mecanism prin care ești descoperit” — două lucruri fără legătură. Cazul Google pentru Căutare e închis și l-am tratat deja în ce nu merită bugetul în vizibilitatea AI; ce urmează aici e restul.

Studiul pe loguri adaugă două nuanțe care se pierd în rezumate:

• Cele 3% de fișiere care au primit totuși cereri înseamnă un bazin de aproximativ 1.100 de domenii și 22.000 de cereri. Boții AI declarați au reprezentat 19,5% din ele — procent pe care autorii îl numesc „cea mai generoasă citire posibilă”, pentru că „descărcat” nu înseamnă „citit”.
• Pe cererile către un llms.txt care nu exista, ponderea boților AI a fost zero. Nu merg să caute fișierul; îl citesc doar dacă îl găsesc deja publicat.

Există totuși un contra-fapt care merită păstrat, pentru că e verificabil de oricine cu o comandă. Furnizorii înșiși publică llms.txt pentru documentația lor: dintre cele patru site-uri de documentație pe care le-am deschis pe 29 iulie 2026, trei returnau un astfel de fișier — OpenAI, Anthropic și Perplexity — iar cel al Google returna 404. OpenAI implementează și a doua propunere: adaugi .md la adresa unei pagini de documentație și primești versiunea Markdown, cu o linie de antet care trimite la fișierul index. Asta e o poziție coerentă de editor de documentație pentru agenți, nu o dovadă că fișierul aduce vizibilitate. Confuzia pieței e între cele două roluri.

Verdictul operațional: dacă vinzi documentație tehnică sau API-uri, un llms.txt are o justificare reală și ieftină. Dacă vinzi orice altceva, e un fișier pe care, în eșantionul de mai sus și în luna măsurată, nu l-a cerut aproape nimeni.

Ce rămâne în afara controlului tău, oricât ai configura

Configurarea are o graniță, iar ea trebuie știută înainte, nu descoperită după.

• Preluarea cerută de un utilizator se comportă diferit de la furnizor la furnizor. OpenAI scrie despre ChatGPT-User că „regulile robots.txt pot să nu se aplice”; Perplexity, despre Perplexity-User, că „acest fetcher ignoră în general regulile robots.txt”; Meta, despre Meta-ExternalFetcher, că „poate ocoli regulile robots.txt”; Google, despre fetcherele declanșate de utilizator, aceeași formulare. Anthropic descrie comportamentul opus: dezactivarea lui Claude-User împiedică sistemul să preia conținutul ca răspuns la o întrebare. Patru documente descriu o excepție, al cincilea descrie o regulă respectată — de aceea nu se poate scrie o propoziție unică despre „fetcherele declanșate de utilizator”.
• Ce a fost deja colectat rămâne colectat. Un Disallow de azi acționează asupra accesărilor viitoare. Nu e un buton de retragere retroactivă.
• Copiile nu se blochează. Conținutul republicat pe alt domeniu are alt robots.txt, pe care nu îl controlezi.
• Blocarea pe adrese IP nu funcționează și se autosabotează. Anthropic o spune direct: blocarea IP-urilor de pe care operează roboții „poate să nu funcționeze corect sau să nu garanteze consecvent o retragere, pentru că împiedică sistemul nostru să îți citească fișierul robots.txt”. Un robot care nu poate citi refuzul nu îl poate respecta.
• Datele structurate nu sunt un mecanism de control al accesului. Ele descriu conținutul pentru sisteme care l-au citit deja; ce fac și ce nu fac efectiv e o discuție separată.

Notă: grila de la începutul articolului acoperă șase furnizori. Microsoft și Copilot nu sunt incluse — nu pentru că ar fi în afara controlului tău, ci pentru că documentația Bing pe subiect e randată prin JavaScript și nu a putut fi extrasă la data verificării: status 200, sub 60 de cuvinte de conținut. Prefer să declar limita articolului decât să extrapolez de la alți furnizori.

Auditul de acces în șase pași, pe propriul site

Procedura de mai jos e reproductibilă integral de cititor, în aproximativ o jumătate de oră, fără niciun instrument plătit. O descriu ca proces, nu ca rezultat: nu publicăm cifre despre câte site-uri am verificat, pentru că un număr fără metodă nu dovedește nimic.

1. Citește-ți propriul robots.txt — al domeniului principal și al fiecărui subdomeniu. Un Disallow pe shop. sau pe blog. nu apare în fișierul de pe domeniul rădăcină, pentru că regulile sunt valabile doar pentru host, protocol și port.
2. Verifică fiecare strat separat, pe user-agentul exact. Caută în fișier numele din tabelul de la începutul articolului, pe cele trei straturi. O regulă generală care blochează tot ce seamănă a robot AI le prinde pe toate deodată, inclusiv pe cele care aduc trafic.
3. Verifică ce blochează infrastructura, nu fișierul. Reguli de WAF, CDN, limitare de rată, provocări de tip challenge. Perplexity publică proceduri dedicate pentru Cloudflare și AWS, iar Cloudflare documentează un panou separat de control al crawlerelor AI, cu acțiuni implementate ca reguli de WAF și cu o coloană dedicată încălcărilor de robots.txt. Un robot oprit acolo nu apare niciodată în fișier ca refuzat.
4. Verifică setarea din Search Console pentru funcțiile generative din Căutare. Implicit e „include”, dar se poate să fi fost schimbată de un plugin, de un dezvoltator prudent sau de o decizie veche pe care nu o mai ține minte nimeni.
5. Verifică controalele de fragment: nosnippet, max-snippet, data-nosnippet, X-Robots-Tag. Un nosnippet pus acum trei ani din alt motiv scoate azi pagina din AI Overviews și din AI Mode.
6. Confirmă în loguri cine te-a accesat efectiv. Un user-agent se poate falsifica. Verificarea reală se face prin reverse DNS urmat de forward DNS, sau prin intervalele de IP pe care furnizorii le publică în fișiere JSON. Google documentează în plus Web Bot Auth, un protocol criptografic în stadiu de draft IETF pe care îl declară el însuși experimental și pentru care avertizează că „nu semnăm fiecare cerere” — deci metodele clasice rămân necesare.

Ca să nu fie o procedură pe care o recomandăm fără să o aplicăm: amplify.ro/robots.txt are trei rânduri și 70 de octeți, permite toate crawlerele fără excepție, iar amplify.ro/llms.txt returnează 404. Ambele se verifică într-o comandă, de oricine, oricând. Dacă vrei un punct de plecare mai rapid decât auditul complet, testul de vizibilitate AI, opt întrebări acoperă prima jumătate din listă. Pașii 1, 2 și 5 sunt oricum parte din auditul tehnic al site-ului, deci se fac o dată, nu de două ori.

Acces liber, blocare selectivă sau doar monitorizare

Nu există un răspuns valabil pentru toată lumea, dar există trei profile clare și un criteriu care le separă: cine plătește costul erorii.

Tabelul e un punct de plecare pentru o discuție internă, nu o listă de bifat: coloana a treia e cea pe care o citește cine semnează. Dacă profilul tău e al doilea sau al treilea, decizia nu se ia o dată — se revizuiește, iar asta e exact munca descrisă în controlul tehnic al accesului crawlerelor AI.

Când nu merită să atingi nimic: dacă traficul din surse AI e neglijabil în analytics, dacă nu ai conținut original pe care l-ai apăra în instanță și dacă nimeni din firmă nu urmărește lunar logurile, blocarea selectivă adaugă un fișier de întreținut și zero beneficiu măsurabil. Prima mișcare utilă în cazul ăsta e monitorizarea, nu configurarea. Iar dacă tot nu ai clarificat ce urmărești și de ce, întrebarea e mai devreme în lanț: ce înseamnă AEO și ce se schimbă operațional e discuția care precede orice decizie de acces.

Întrebări frecvente

Ar trebui să blochez crawlerele AI sau îmi fac rău singur?

Depinde care dintre ele. Blocarea roboților de antrenare nu îți afectează vizibilitatea curentă în răspunsurile generate. Blocarea roboților de index de căutare o afectează direct: OpenAI scrie că site-urile care refuză OAI-SearchBot nu vor fi afișate în răspunsurile de căutare ChatGPT. Cele mai multe pagube se produc printr-o regulă generală, care le prinde pe amândouă fără să vrea nimeni asta.

Are efect real llms.txt sau este doar un experiment?

E o propunere, nu un standard, și se comportă diferit pe suprafețe diferite. Google Search declară că îl ignoră — nici nu ajută, nici nu strică. Documentația Chrome pentru navigare agentică îl tratează ca pe o convenție emergentă, utilă unui agent aflat deja pe site, și opțională. Măsurat pe loguri, 97% dintre fișierele valide dintr-un eșantion de 137.210 de domenii nu au primit nicio cerere în mai 2026. Are sens pentru documentație tehnică; pentru restul, e un fișier pe care nu îl cere aproape nimeni.

GPTBot respectă robots.txt?

Da — GPTBot este robotul de accesare automată și se gestionează prin robots.txt. Confuzia vine de la ChatGPT-User, care e declanșat de o cerere a unui utilizator și despre care OpenAI scrie că, în acel context, „regulile robots.txt pot să nu se aplice”. Sunt doi user-agenți diferiți, cu comportamente diferite, iar suspiciunea că „botul nu respectă regulile” vine aproape întotdeauna din confundarea lor.

Cum verific că un bot care spune că e GPTBot chiar este GPTBot?

Nu te bazezi pe user-agent, pentru că se poate falsifica. Faci reverse DNS pe adresa IP din loguri, apoi forward DNS pe numele obținut, și compari; sau verifici adresa în fișierele JSON cu intervale de IP pe care furnizorii le publică — OpenAI, Anthropic, Perplexity, Common Crawl și Google au fiecare astfel de fișiere, toate accesibile public. Google documentează în plus un protocol criptografic de autentificare, dar îl declară experimental și precizează că nu semnează fiecare cerere.

Pot ieși din AI Overviews fără să ies din Google?

Da, și există două căi cu costuri diferite. Setarea din Search Console pentru funcțiile generative exclude linkurile și conținutul din AI Overviews, AI Mode și Discover, fără să afecteze indexarea în Căutare; efectul apare în una-două zile. nosnippet face un lucru mai larg: împiedică folosirea conținutului ca intrare directă în AI Overviews și AI Mode, dar îți scoate în același timp fragmentul de text din rezultatele clasice. Prima opțiune e chirurgicală, a doua e brutală.

Data verificării face parte din configurație

Modelul mental care rezistă e că nu configurezi un fișier, ci întreții o relație cu șase furnizori care își schimbă documentația fără să te anunțe. Trei roboți fiecare, nume care se adaugă, poziții care se nuanțează, un întreg site de documentație mutat pe alt domeniu în ultimele luni. Un robots.txt scris corect acum un an poate fi azi o listă de user-agenți dispăruți plus doi care lipsesc.

De aceea singura parte a acestui articol care nu se învechește e metoda: deschizi documentul furnizorului, notezi data la care l-ai deschis, scrii ce zice și treci mai departe. Toate afirmațiile de mai sus au fost verificate pe 29 iulie 2026, iar unele dintre paginile citate fuseseră actualizate cu două săptămâni înainte. Peste șase luni, jumătate din ele vor fi altfel — și singurul lucru care îți va spune care jumătate e data pe care ai notat-o.

Pune-ți în calendar o re-verificare trimestrială a trei lucruri:

1. robots.txt, pe domeniul principal și pe fiecare subdomeniu;
2. setarea pentru funcțiile generative din Search Console;
3. regulile de WAF sau de CDN care blochează în afara fișierului.

Dacă vrei să facem noi prima trecere și să vedem ce blochezi fără să știi, cere un Growth Diagnosis. Dacă o duci pe cont propriu, procedura de mai sus e completă, iar partea grea — să nu confunzi cei trei roboți — e deja rezolvată.

Configurarea în sine durează cinci minute. Ce durează e să știi ce configurezi, și tocmai partea asta nu se poate copia de la altcineva, pentru că se schimbă sub tine. Un site fără robots.txt verificat de un an nu are o configurație: are o presupunere, scrisă cândva, despre un web care între timp s-a mutat.