사이트 Robots.txt 검색로봇 접근 및 차단 설정을 하는 문서입니다. 루트디렉토리에 저장해야 함
페이지 정보
본문
FTP로 접속 후 확인해 보면 www/ 하위에 위치한 Robots.txt (로봇 배제 표준) 텍스트 파일에 대해 알아보겠습니다.
이것은 운영하는 웹사이트가
'검색엔진에 의해 접근을 허용할 것인가 차단할 것인가? '
'부분적인 차단을 할 것인가?'
등을 결정하는 명령어가 담긴 문서입니다.
네이버에서 관리하는 검색엔진,다음 검색엔진,구글봇,빙,야후 등등 수십여가지의 검색엔진 로봇들이 주기적으로 웹사이트를 방문하게 되는데 검색엔진이 자신이 운영하는 웹사이트의 문서들을 추출해서 색인하고 검색노출에 반영하길 원한다면 꼭 알아두어야 합니다.
그리고 모든 검색엔진을 차단하고 싶어도 알아두어야 합니다.
부분적인 차단을 하고싶다해도 알아두어야 합니다. ^^
그리 어렵지는 않습니다.
즉 robots.txt 텍스트 문서는 외부 검색로봇의 방문을 제어하는 역할을 하는 것입니다.
Robots.txt 위치
FTP로 접속하면 www/ 하위에 위치합니다.
경우에 따라서는 html/ 이라는 하위에 위치하기도 합니다.
호스팅마다 약간씩 차이가 있지만
절대경로는 http://도메인/robots.txt 이런 위치가 되어야 합니다.
즉, 멜랑넷의 경우에는 http://melang.net/robots.txt 이런 위치가 되는 것이죠.
Robots.txt 예제
첫 째. "모든 검색로봇을 모든 문서에 접근을 허락하라."는 명령
(* ← 이것은 '모든' 이라는 의미)
모든 검색로봇이 내 웹사이트의 모든 문서에 접근해서 문서들을 색인해 갈 수 있는 설정입니다.
User-agent: *
Allow: /
둘 째. "모든 검색 로봇이 모든 문서에 접근하는 것을 금지하라."는 명령
모든 검색로봇은 내 웹사이트에 접근할 수 없습니다.
폐쇄적으로 운영하는 웹사이트의 경우(예를 들어 로그인 해야만 문서를 볼 수 있는 웹사이트의 경우) 사용하면 되겠죠.
User-agent: *
Disallow: /
셋 째. "특정 폴더만 접근을 금지시켜라."는 명령입니다.
(반드시 폴더명 뒤에 /를 붙여야 합니다.)
User-agent: *
Disallow: /폴더명/
예제) 관리자 폴더 (adm)에 접근 금지시키라는 명령
User-agent: *
Disallow: /adm/
[정리 ]
User-agent는 로봇 접근을 설정하는 명령어
Allow: / 허용
Disallow: / 비허용
이 밖에도 다양한 설정을 하실 수 있답니다.
[참고]
만약 Robots.txt 문서가 없다면 기본적으로 검색로봇이 접근을 허용하도록 열려 있는 것이랍니다.
- 이전글대표도메인 정상으로 보이는데 연결된 다른 도메인이 텍스트만 보인다면 .htaccess 파일을 손보면 됩니다. 15.03.16
- 다음글[호스팅초보]좋은 호스팅 고르는 방법 14.02.08
댓글목록
등록된 댓글이 없습니다.