✅ 기본 설정 (모든 크롤러 허용)
|
1 2 3 4 |
User-agent: * Disallow: |
✔ 의미
User-agent: *→ 모든 검색 엔진 크롤러 대상 (Google, Bing 등)Disallow:→ 차단 경로 없음 = 전체 허용
👉 즉, 사이트 전체를 자유롭게 크롤링 가능
✅ 명확하게 허용 표시 (선택)
|
1 2 3 4 |
User-agent: * Allow: / |
✔ 의미
Allow: /→ 루트부터 모든 경로 허용
👉 위 방식도 동일하게 전체 허용 (일부 크롤러에서 더 명확)
✅ Sitemap 포함 (추천)
|
1 2 3 4 |
User-agent: * Disallow:Sitemap: https://yourdomain.com/sitemap.xml |
👉 검색엔진 최적화(SEO) 위해 권장
⚠️ 주의 사항
❌ 이런 경우는 전체 차단
|
1 2 3 4 |
User-agent: * Disallow: / |
👉 사이트 전체 크롤링 금지 (실수 많이 함)
🔥 실무 팁 (개발자 관점)
- robots.txt는 보안이 아님
→ 민감 데이터 보호용 ❌
→ 단순 크롤링 가이드 ✔ - 실제 차단은:
- 인증 (로그인)
- IP 제한
- 서버 설정 (IIS / Nginx)