- "robots.txt" 파일 생성 후 도메인 최상단에 ftp 로 업로드 합니다.
(파일이름은 모두 소문자로 작성해야 하며. 파일명에 공백은 허용되지 않습니다.)
예) http://ondalweb.com/robots.txt
- robots.txt 파일의 내용은 아래와 같습니다.
User-agent: *
Disallow: /
(모든검색엔진을 막음)
- 의미
user-agent : 접근을 허용하지 않을 로봇을 설정 한다.
disallow : 허용하지 않을 항목에 대해 설정 한다.
- 검색로봇의 이름
네이버 : naverbot
구글 : Googlebot
msn로봇 : MSNBot
야후봇 : Slurp
엠파스봇 : empas
첫눈봇 : 1Noonbot 1.0
(파일이름은 모두 소문자로 작성해야 하며. 파일명에 공백은 허용되지 않습니다.)
예) http://ondalweb.com/robots.txt
- robots.txt 파일의 내용은 아래와 같습니다.
User-agent: *
Disallow: /
(모든검색엔진을 막음)
- 의미
user-agent : 접근을 허용하지 않을 로봇을 설정 한다.
disallow : 허용하지 않을 항목에 대해 설정 한다.
- 검색로봇의 이름
네이버 : naverbot
구글 : Googlebot
msn로봇 : MSNBot
야후봇 : Slurp
엠파스봇 : empas
첫눈봇 : 1Noonbot 1.0
댓글을 달아 주세요