로봇텍스트(robots.txt) 설정

로봇텍스트(robots.txt) 설정

K아카데미
홈 > K아카데미 > K아카데미
K아카데미

로봇텍스트(robots.txt) 설정

K창업연구소 0 1991

로봇텍스트(robots.txt) 설정

 

로봇텍스트(robots.txt)는 반드시 도메인의 root에 있어야 한다. 검색로봇은 도메인의 root에 있는 robots.txt 파일만 체크한다.

 

예)
http://ksetup.com/robots.txt (유효함)

http://ksetup.com/board/robots.txt (유효하지 않음)

 

robots.txt 파일을 이용하여 사이트를 웹사이트에 허용 또는 차단할 수 있다.

 

웹사이트를 검색엔진에 색인할 경우

User-agent: *

Disallow:

 

User-agent: *

Allow: /

 


웹사이트를 검색엔진이 접근하지 못하게할 경우

User-agent: *

Disallow: /

 


웹사이트의 특정 페이지 또는 폴더를 차단할 경우

User-agent: *

Disallow: /차단할 페이지 또는 폴더/

 


User-agent는 로봇 접근을 설정하는 명령어

Allow: / 허용

Disallow: / 비허용

 

robots.txt에서 sitemap.xml의 위치를 알릴 수 있다.

Sitemap:http://www.ksetup.com/sitemap.xml

0 Comments