robots.txt 파일에서
사이트 맵의 위치를 지정하는 방법
구글 웹 마스터 도구를 사용하여 직접 사이트 맵을 제출하는 것 외에 robots.txt 파일에 Sitemap 위치를 지정하여 검색 엔진에게 사이트 맵의 위치를 알려주어 색인하는 것도 가능합니다. 여기에서는 사이트 맵의 위치를 robots.txt 파일로 지정하는 방법에 대해 설명합니다.
1. robots.txt의 작성 방법
2. robots.txt를 사용한 크로스 송신
2. robots.txt를 사용한 크로스 송신
1. robots.txt의 기술 방법
robots.txt는 사이트를 방문하는 검색 엔진에게 「이렇게 했으면 좋겠다」 또는 「이것은 하지마」등의 요청을 설명하는 파일입니다. 사이트 내의 특정 파일에 대하여 인덱스를 원하지 않는 경우 robots.txt에 작성해두면 검색 엔진은 그것을 이해 할 수 있습니다 (그러나 검색 엔진이
이를 준수하는지 여부는 다른 이야기입니다).
※ Google에 대한 robots.txt의 기술에 관해서는 아래의 도움말 등을 참조하시기 바랍니다.
·
robots.txt 파일을 사용하여 페이지 차단 또는 삭제 - 웹 마스터 도구 도움말
https://support.google.com/webmasters/answer/6062608?hl=ko
이 robots.txt 파일을 사용하여 사이트 사이트 맵 파일이 어디에 설치되어 있는지를 검색 엔진에 알 수 있습니다. 검색 엔진이 사이트에 액세스 해올경우,
robots.txt 파일이 존재하면 가장 먼저 robots.txt를 가져옵니다. 거기서 사이트 맵 장소가 기재되어 있으면 사이트 맵을 가져옵니다.
웹 마스터 도구를 이용해 직접 Google에 사이트 맵을 보낼 수 있지만 검색 엔진은 Google뿐만이 아니기 때문에 robots.txt를 사용하여 사이트 맵의 위치를 지정하는 것이 중요합니다.
robots.txt에 사이트 맵의 위치를 작성하려면 다음과 같이 설명합니다. (파일 이름은 작성자
임의의 파일 이름을 지정하십시오).
Sitemap : http://www.example.com/sitmap.xml
기술 위치는 robots.txt 중이면 어디라도 상관 없습니다. 파일의 맨 위에 두어도 괜찮습니다.
이미 robots.txt를 작성하는 경우는 위의 설명을 추가하고 존재하지 않으면 텍스트 편집기에서 위의 설명을 추가 한 후 robots.txt라는 이름으로 저장합니다. 주의 할 점은 robots.txt는 반드시 사이트의 루트 디렉토리에 설치해야합니다 . 서브 디렉토리 안에 등에는 설치할 수 없습니다.
자주 묻게되는 구성으로는 다음과 같이 배치됩니다.
사이트 A : http : //www.example.com/
[root] - + - index.html
|
+ - [dir] - + - index.html
| + - index1.html
| + - index2.html
| + - index3.html
| + - index4.html
|
+ - robots.txt
|
+ - sitemap-1.xml
robots.txt :
Sitemap : http://www.example.com/sitmap-1.xml
이제 Google뿐만 아니라 사이트맵을 지원하는 많은 검색 엔진에게 내 사이트의 사이트 맵의 위치를 알릴 수 있습니다.
2. robots.txt를 사용한 크로스 송신
사이트 맵 파일은 일반적으로 대상 사이트에 설치하지만, robots.txt 파일에서 사이트 맵의 위치를 지정하는 경우, 사이트 맵의 위치는 다른 도메인도 가능합니다.
예를 들어 사이트 A 사이트 B 사이트 C라는 3 개의 사이트에 대한 사이트 맵을 모두 사이트 A에 설치하는 경우에 생각해 보겠습니다. 이 경우 각 사이트의 구성은 다음과 같습니다.
사이트 A
사이트 A : http : //hostA.example.com/
[root] - + - index.html
|
+ - [dir] - + - index.html
| + - index1.html
| + - index2.html
|
+ - robots.txt
|
+ - sitemap-A.xml
+ - sitemap-B.xml
+ - sitemap-C.xml
사이트 A의 robots.txt :
Sitemap : http://hostA.example.com/sitmap-A.xml
사이트 B
사이트 B : http : //hostB.example.com/
[root] - + - index.html
|
+ - [dir] - + - index.html
| + - index1.html
| + - index2.html
|
+ - robots.txt
사이트 B의 robots.txt :
Sitemap : http://hostA.example.com/sitmap-B.xml
사이트 C
사이트 C : http : //hostC.example.com/
[root] - + - index.html
|
+ - [dir] - + - index.html
| + - index1.html
| + - index2.html
|
+ - robots.txt
사이트 C의 robots.txt :
Sitemap : http://hostA.example.com/sitmap-C.xml
이러한 사이트 맵 파일은 특정 사이트에 모아 두었다가 다른 사이트에서는 robots.txt 사이트 맵의 위치를 지정하는 것이 가능합니다. 여러 사이트의 사이트 맵 파일을 정리하여 한 곳에서 관리하고 싶은 경우에는 유효할
것이라고 생각합니다.
댓글 없음:
댓글 쓰기