# ── 일반 검색엔진 ──────────────────────────────────────────────── User-agent: * Allow: / # 내부용 — 색인 대상 아님 Disallow: /showcase Disallow: /login Disallow: /en/showcase Disallow: /en/login # 영업용 오프라인 사본 — 사이트 어디에서도 링크하지 않는다(decks.ts 참고). # 표지가 「제조업 잠재 고객사 안내 자료」라 검색에 걸리면 사내 영업 문구가 그대로 노출되고, # 지금 사이트가 말하는 범위(제조·공공·금융·건설·국방)보다 좁게 읽힌다. Disallow: /brochures/ # ── AI 크롤러 (명시적 허용) ────────────────────────────────────── # `User-agent: *` 로도 이미 허용되지만, 의도를 명시해 둔다. # 봇마다 역할이 다르므로 뭉뚱그려 막으면 안 된다 — # ClaudeBot 학습 데이터 수집 # Claude-User 사용자가 질문했을 때 실시간으로 페이지를 가져감 # Claude-SearchBot Claude 검색 결과용 색인 (막으면 Claude 답변 노출이 줄어든다) # 출처: https://support.claude.com/en/articles/8896518 User-agent: ClaudeBot Allow: / Disallow: /showcase Disallow: /login Disallow: /en/showcase Disallow: /en/login User-agent: Claude-User Allow: / Disallow: /showcase Disallow: /login Disallow: /en/showcase Disallow: /en/login User-agent: Claude-SearchBot Allow: / Disallow: /showcase Disallow: /login Disallow: /en/showcase Disallow: /en/login User-agent: GPTBot Allow: / Disallow: /showcase Disallow: /login Disallow: /en/showcase Disallow: /en/login User-agent: OAI-SearchBot Allow: / Disallow: /showcase Disallow: /login Disallow: /en/showcase Disallow: /en/login User-agent: PerplexityBot Allow: / Disallow: /showcase Disallow: /login Disallow: /en/showcase Disallow: /en/login User-agent: Google-Extended Allow: / User-agent: Applebot-Extended Allow: / User-agent: CCBot Allow: / Disallow: /showcase Disallow: /login # ── 사이트맵 ──────────────────────────────────────────────────── Sitemap: https://dfinite.ai/sitemap.xml # 블로그는 별도 서브도메인(inblog.ai 운영)이라 본체 사이트맵에 안 잡힌다. # 크롤러가 본체 robots 에서 함께 발견하도록 여기서 가리킨다 — 210개 글. Sitemap: https://blog.dfinite.ai/sitemap.xml