# Imperio Utilities — robots.txt # # REGOLA DI PREFISSO, NON ELENCO PER-ROTTA. # Tutto ciò che sta sotto /tools è l'APPLICAZIONE AUTENTICATA: a un crawler quelle URL # servono solo la shell SPA vuota, che finirebbe indicizzata e competerebbe con la pagina # pubblica corrispondente. Le pagine pubbliche dei tool sono le /t/ (prerenderizzate, # con demo reale, elencate in sitemap.xml). Le uniche eccezioni pubbliche sotto /tools sono # le 3 pagine-persona /tools/for/*. # Storia: qui c'era l'elenco a mano delle singole rotte /tools/* → ne mancavano 10 su 29. # Una regola di prefisso non può andare fuori sincrono quando si aggiunge un tool. # # Precedenza: RFC 9309 §2.2.2 — vince la regola con il match PIÙ LUNGO (Allow: /tools/for/ = # 11 ottetti batte Disallow: /tools = 6). I gruppi Allow sono comunque messi PRIMA dei # Disallow, così anche i crawler legacy che applicano il vecchio "first match wins" del # draft 1994 arrivano allo stesso risultato. User-agent: * # Public pages — crawl freely Allow: /$ Allow: /pricing Allow: /docs # /mcp — la pagina di connessione al server MCP. È la *documentation URL* che dichiariamo # alle directory e in `.well-known/mcp.json`: una URL che diciamo pubblica altrove deve # risultare pubblica anche qui, o le due affermazioni divergono. Allow: /mcp # /en/mcp — la stessa pagina in inglese (F-10b, 25/09/2026), legata a /mcp da hreflang. Allow: /en/mcp Allow: /terms Allow: /privacy Allow: /cookies Allow: /enterprise Allow: /tools/for/ Allow: /email-validation-api Allow: /invoice-ocr-api Allow: /pdf-compare-api # ⚠️ Queste due sono RITIRATE dall'indice (08/08/2026) e servono ``. # Le righe `Allow` restano APPOSTA, e non vanno «ripulite»: un `Disallow` vieterebbe la # scansione, il crawler non rileggerebbe mai la pagina e **non vedrebbe mai il noindex** — # l'URL resterebbe in indice, nudo. Per USCIRE dall'indice bisogna restare scansionabili. # Il `Disallow` semmai DOPO, a deindicizzazione avvenuta (verificarla su Search Console). # NB: qui non c'è `Disallow: /`, quindi robots è allow-by-default e queste righe dichiarano # un'intenzione più che imporre un permesso: toglierle non bloccherebbe nulla oggi, ma # lascerebbe le due URL scoperte davanti al primo `Disallow:` di prefisso che qualcuno # aggiungesse domani. Guardia: `staticBody.test.ts` §ritiro (riusa l'evaluator RFC 9309 # già sanity-testato lì, invece di una seconda copia che prima o poi diverge). Allow: /python-code-runner Allow: /audio-transcription-api Allow: /t/ Allow: /blog Allow: /blog/ # Protected app pages — require auth, no value for crawlers Disallow: /tools Disallow: /dashboard Disallow: /billing Disallow: /marketplace # NB: questo prefisso copre anche la landing pubblica /affiliate-program. È voluto finché # i pagamenti sono OFF (beta): non vogliamo indicizzare una pagina che descrive un programma # di guadagno non ancora operativo. Da riconsiderare al go-live. Disallow: /affiliate Disallow: /challenges Disallow: /collaboration Disallow: /community Disallow: /enterprise/manage Disallow: /incentives Disallow: /settings/ Disallow: /white-label Disallow: /reseller Disallow: /business Disallow: /developer Disallow: /admin/ Disallow: /scheduled-jobs Disallow: /onboarding Disallow: /auth/login Disallow: /auth/signup Disallow: /auth/verify-email Disallow: /auth/reset-password # Portali white-label: pagine con il brand del CLIENTE, non nostre — non vanno indicizzate # sotto imperioutils.com. Disallow: /wl/ Sitemap: https://imperioutils.com/sitemap.xml # Indice per agenti / LLM: server MCP (tool anonimi a costo zero — l'elenco vivo è in llms.txt # e in tools/list, MAI un numero scritto qui: driftava), pagine pubbliche dei tool e catalogo # API, in un unico file. Generato da TOOL_PAGES come la sitemap, quindi non può driftare. # `Sitemap:` è una direttiva RFC 9309, questa no: è un commento, ed è il motivo per cui # la stessa URL è anche in nell'HTML di ogni pagina. # llms.txt: https://imperioutils.com/llms.txt