사이드바 영역으로 건너뛰기

난 검색로봇이 싫어요

2004년 12월 30일에 작성한 포스트입니다.

 

웹 검색이 없던 시기에는 어떻게 정보를 찾았을까...하는 의문이 들 정도로

검색은 웹을 사용하는 사람들에게 필수불가결한 존재입니다.

원하는 정보에 대한 키워드를 알고 있으면

구글 같은 검색 사이트나 네이버 등의 검색 포탈 등에서

쉽게 인덱싱된 정보나 링크를 얻어낼 수 있죠.

이렇게만 본다면 검색엔진은 정보 접근성을 높여주고 공유를 도와주는

긍정적인 역할을 한다고 할 수 있겠습니다.

 

하지만 웹 검색은 하나의 기술일 뿐이고

검색로봇은 주어진 기준에 따라 정보를 인덱싱하는 도구일 뿐입니다.

어떤 목적으로 검색 쿼리를 날리는 것인지는 검색엔진이 판단하지 않습니다.

개인정보를 무단으로 수집하기 위해 웹검색을 활용할 수도 있으며

저작권법 단속을 위해 하루종일 검색 사이트에 접속할 수도 있습니다.

 

또한 검색 쿼리를 날려서 얻은 결과를 어떻게 배치할 것인가는

검색엔진의 운영주체가 결정할 문제이며

"어떤 정보가 보다 유용한 정보인가"를 결정하는 것 역시 그들입니다.

당연하게도 검색포탈은 그들의 스폰서 링크를 우선적으로 배치하며

검색시장은 온라인 광고 시장의 hot spot이 되었습니다.

 

특성상 많은 링크로 이루어져 있는 블로그의 포스트는

검색엔진의 잦은 방문을 받게 됩니다.

구글 검색의 결과에서 포스트의 비중이 높은 것은

이러한 블로그의 특성 때문이 아닌가 합니다.

(예를 들면 "아빌론 샤프리더 블로그"로 구글에서 검색을 해 보면

진보네의 포스트가 3등으로 나오죠.)

 

다행히도 대부분의 검색로봇은 대문 앞에서 노크를 하는 매너가 있습니다.

검색로봇이 사이트의 내용을 인덱싱하지 못하게 하기 위해서

두 가지 방법이 표준적으로 제시됩니다.

하나는 최상위 도메인 디렉토리에 "robots.txt" 파일을 만드는 것이고

다른 하나는 html 페이지에 Robots META tag를 넣는 것입니다.

이 중 후자에 대한 설명을 하겠습니다.



Robots META tag는 일반적인 META 태그의 형식을 가집니다.

형식은 다음과 같이 간단합니다.

 

 

NOINDEX는 페이지의 내용을 인덱싱하지 말라는 의미리고

NOFOLLOW는 페이지 안의 링크를 따라가지 말라는 의미...인것 같습니다-_-

만약 인덱싱을 허용하고 싶다면 NOINDEX 대신 INDEX를 사용하면 되고

링크를 따라갈 수 있게 하려면 FOLLOW를 사용하면 됩니다.

기본값은 INDEX,FOLLOW이니 반드시 NOINDEX와 NOFOLLOW를 써줘야 합니다.

 

원래 META 태그는 html의 HEAD에 들어가게 되어 있습니다.

하지만 블로거가 쓸 수 있는 공간은 포스트밖에 없는데

포스트는 html의 BODY에 들어가기 때문에

이 메타태그 역시 BODY 부분에 삽입되게 됩니다.

 

장기간-_-의 테스트에서는 BODY 부분에 들어간 메타 태그 역시

검색로봇이 읽어들이는 것 같단 결론을 얻었습니다.

따라서 포스트를 다 쓴 후 다음과 같이 해 주시면

그 포스트는 검색 결과에 포함되지 않을 수 있을 것입니다.

 

먼저, IE를 사용하는 블로거의 경우 편집기를 쓰게 될텐데

편집기의 편집화면에 이 메타태그를 넣어봐야 소용이 없습니다.

따라서 반드시 html 수정 모드로 들어가셔서 태그를 넣어주셔야 합니다.

태그의 위치는 어디든 상관이 없습니다.

다만 이후 html 수정보드에서 편집모드로 돌아가면

역시 태그가 날아간다는 사실을 유의하셔야 합니다.

따라서 이 태그는 글을 다 쓴 후 저장하기 전에

html 수정모드에서 입력하고 저장하시는 것이 좋습니다.

 

IE를 사용하지 않는 블로거의 경우...

편집기가 아니기 때문에 그냥 넣으셔도 상관없습니다-_-

 

글을 저장하고 포스트에서 html의 소스를 확인했을 때

위의 태그가 들어가 있다면 성공입니다. :)

 

검색엔진의 검색 허용/불가는

차후에 포스트 쓰기 옵션으로 아예 넣어버릴 생각이지만

그 전까지는 불편하겠지만 이 방법을 사용하셔야 될 것 같습니다.

검색로봇의 위협-_-에 떨고 계셨던 분들에게 도움이 되었으면 좋겠습니다.

 

참고링크

이글루스 jely님의 포스트 : http://jely.egloos.com/288276/

Robot-exclusion : http://www.robotstxt.org/wc/exclusion.html

 


진보블로그 공감 버튼트위터로 리트윗하기페이스북에 공유하기딜리셔스에 북마크