최근 글 목록
-
- 트위터 맞팔 논쟁
- 레니
- 2010
-
- 21세기판 골드러시 - 데이터...(1)
- 레니
- 2008
-
- 이런 스팸메일
- 레니
- 2008
-
- 구글의 새 브라우저, 크롬 (...(6)
- 레니
- 2008
-
- 다크 나이트 (The Dark Knig...(5)
- 레니
- 2008
2004년 12월 30일에 작성한 포스트입니다.
웹 검색이 없던 시기에는 어떻게 정보를 찾았을까...하는 의문이 들 정도로
검색은 웹을 사용하는 사람들에게 필수불가결한 존재입니다.
원하는 정보에 대한 키워드를 알고 있으면
구글 같은 검색 사이트나 네이버 등의 검색 포탈 등에서
쉽게 인덱싱된 정보나 링크를 얻어낼 수 있죠.
이렇게만 본다면 검색엔진은 정보 접근성을 높여주고 공유를 도와주는
긍정적인 역할을 한다고 할 수 있겠습니다.
하지만 웹 검색은 하나의 기술일 뿐이고
검색로봇은 주어진 기준에 따라 정보를 인덱싱하는 도구일 뿐입니다.
어떤 목적으로 검색 쿼리를 날리는 것인지는 검색엔진이 판단하지 않습니다.
개인정보를 무단으로 수집하기 위해 웹검색을 활용할 수도 있으며
저작권법 단속을 위해 하루종일 검색 사이트에 접속할 수도 있습니다.
또한 검색 쿼리를 날려서 얻은 결과를 어떻게 배치할 것인가는
검색엔진의 운영주체가 결정할 문제이며
"어떤 정보가 보다 유용한 정보인가"를 결정하는 것 역시 그들입니다.
당연하게도 검색포탈은 그들의 스폰서 링크를 우선적으로 배치하며
검색시장은 온라인 광고 시장의 hot spot이 되었습니다.
특성상 많은 링크로 이루어져 있는 블로그의 포스트는
검색엔진의 잦은 방문을 받게 됩니다.
구글 검색의 결과에서 포스트의 비중이 높은 것은
이러한 블로그의 특성 때문이 아닌가 합니다.
(예를 들면 "아빌론 샤프리더 블로그"로 구글에서 검색을 해 보면
진보네의 포스트가 3등으로 나오죠.)
다행히도 대부분의 검색로봇은 대문 앞에서 노크를 하는 매너가 있습니다.
검색로봇이 사이트의 내용을 인덱싱하지 못하게 하기 위해서
두 가지 방법이 표준적으로 제시됩니다.
하나는 최상위 도메인 디렉토리에 "robots.txt" 파일을 만드는 것이고
다른 하나는 html 페이지에 Robots META tag를 넣는 것입니다.
이 중 후자에 대한 설명을 하겠습니다.
Robots META tag는 일반적인 META 태그의 형식을 가집니다.
형식은 다음과 같이 간단합니다.
NOINDEX는 페이지의 내용을 인덱싱하지 말라는 의미리고
NOFOLLOW는 페이지 안의 링크를 따라가지 말라는 의미...인것 같습니다-_-
만약 인덱싱을 허용하고 싶다면 NOINDEX 대신 INDEX를 사용하면 되고
링크를 따라갈 수 있게 하려면 FOLLOW를 사용하면 됩니다.
기본값은 INDEX,FOLLOW이니 반드시 NOINDEX와 NOFOLLOW를 써줘야 합니다.
원래 META 태그는 html의 HEAD에 들어가게 되어 있습니다.
하지만 블로거가 쓸 수 있는 공간은 포스트밖에 없는데
포스트는 html의 BODY에 들어가기 때문에
이 메타태그 역시 BODY 부분에 삽입되게 됩니다.
장기간-_-의 테스트에서는 BODY 부분에 들어간 메타 태그 역시
검색로봇이 읽어들이는 것 같단 결론을 얻었습니다.
따라서 포스트를 다 쓴 후 다음과 같이 해 주시면
그 포스트는 검색 결과에 포함되지 않을 수 있을 것입니다.
먼저, IE를 사용하는 블로거의 경우 편집기를 쓰게 될텐데
편집기의 편집화면에 이 메타태그를 넣어봐야 소용이 없습니다.
따라서 반드시 html 수정 모드로 들어가셔서 태그를 넣어주셔야 합니다.
태그의 위치는 어디든 상관이 없습니다.
다만 이후 html 수정보드에서 편집모드로 돌아가면
역시 태그가 날아간다는 사실을 유의하셔야 합니다.
따라서 이 태그는 글을 다 쓴 후 저장하기 전에
html 수정모드에서 입력하고 저장하시는 것이 좋습니다.
IE를 사용하지 않는 블로거의 경우...
편집기가 아니기 때문에 그냥 넣으셔도 상관없습니다-_-
글을 저장하고 포스트에서 html의 소스를 확인했을 때
위의 태그가 들어가 있다면 성공입니다. :)
검색엔진의 검색 허용/불가는
차후에 포스트 쓰기 옵션으로 아예 넣어버릴 생각이지만
그 전까지는 불편하겠지만 이 방법을 사용하셔야 될 것 같습니다.
검색로봇의 위협-_-에 떨고 계셨던 분들에게 도움이 되었으면 좋겠습니다.
참고링크
이글루스 jely님의 포스트 : http://jely.egloos.com/288276/
Robot-exclusion : http://www.robotstxt.org/wc/exclusion.html
댓글 목록
happyalo
관리 메뉴
본문
유용한 정보군요. 전 포스트에만 넣어도 되는 건 줄 알았습니다. 감사합니다.부가 정보
레니
관리 메뉴
본문
happyalo님 오랜만입니다.:)그냥 포스트에 메타태그를 넣어도 되긴 하는데요, 단지 흔히 rich editor라 불리는 편집기를 쓸 경우에는 태그가 없어지거나 태그로서 동작하지 않은 경우가 많아서 주의해야하죠.
부가 정보