인터넷(internet)은 정보의 바다라 불릴 정도로 상당히 많은 양의 정보가 쌓여있는 곳이다. 그곳에서 사용자가 원하는 정보를 찾기는 서울에서 김 서방 찾기 보다 어렵다. 사용자의 편리를 위해 등장한 것이 검색 엔진이다. 

검색 엔진은 웹에 존재하는 많은 양의 정보 중 사용자가 원하는 정보만을 여러 웹사이트나 웹 페이지 등에서 검색해 주는 시스템(system)이다. 잠재적인 고객이 웹사이트를 쉽게 찾을 수 있도록 도와주는 수단이다.

서버에서는 웹 로봇(Web Robots)이 웹사이트들을 돌아다니며 웹사이트들에 대한 정보를 수집한다. 웹 로봇은 사람과의 상호작용 없이 연속된 웹 트랜잭션(transaction)을 자동으로 수행하는 소프트웨어 프로그램이다. 예를 들어 구글 검색 로봇은 구글봇(Googlebot), 네이버 검색 로봇은 예티(Yeti), 다음 로봇의 명칭은 다우모아(DAUMOA)이다.

검색 엔진은 웹 크롤링(Web crawling), 인덱싱(Indexing), 랭킹(Ranking)의 세 단계의 순서로 작동한다. 웹 크롤링은 사전적 의미는 소프트웨어 따위가 웹을 돌아다니며 유용한 정보를 찾아 특정 데이터베이스로 수집해 오는 작업이다. 인터넷상에 존재하는 모든 데이터를 자동으로 탐색하는 행위를 웹 크롤링이라고 한다. 크롤링하는 소프트웨어는 크롤러(crawler)라고 부른다.

웹 크롤링은 웹 스크래핑(Web Scraping)이라고도 한다. 스크래핑은 인터넷 웹 페이지에 나타나는 데이터 중에서 필요한 데이터(data)만을 추출하도록 만들어진 프로그램이다. 웹에 공개된 웹사이트의 모든 페이지를 수집한다. 이때 최신 데이터를 우선으로 한다. 웹 크롤링은 탐색에 기능이 제한되어 있고 웹 스크래핑은 정보 추출에 초점을 맞추고 있다.

이후 인덱싱을 한다. 추가적인 쓰기 작업과 저장 공간을 활용하여 데이터베이스 테이블의 검색 속도 향상을 위한 자료구조인 인덱스(Index, 색인)를 생성하는 처리 과정이다. 인덱스는 컴파일(compile)된 문서들의 버전을 포함하고 있으며 특정 단어(term)들을 포함하고 있는 문서 목록을 빠르게 찾을 수 있도록 최적화되어 있다. 정확하고 빠른 검색이 가능하도록 데이터의 수집과 저장, 분석이 이루어진다. 

마지막 랭킹(Ranking)에서 검색어를 구성하는 단어가 포함된 제목, 주제 등을 추출하여 검색 의도에 맞춰 색인 된 콘텐츠에 순위를 부여한 후 결과로 제공한다. 이러한 일련의 과정을 통해 검색이 이뤄진다. 이 과정을 통해 검색 엔진 사이트에서 특정 검색어를 입력하면 검색 엔진이 수집한 정보 중 그에 맞는 결과를 볼 수 있다. 많은 검색 및 포털 사이트에서 검색 서비스를 제공하고 있다.

웹 로봇이 웹 문서를 수집하기 전에 반드시 맨 먼저 확인하는 것이 있다. 어떤 문서를 수집하지 말아야 하는지가 적힌 웹사이트(web site)의 루트(최상위 디렉토리)에 위치한 ‘robots.txt’ 파일을 확인한다. 웹 로봇의 접근을 허락하는 곳과 접근하면 안 될 곳에 대한 규칙을 선언해 둔 파일이다. 내 홈페이지에 해당 파일이 있는지 확인하려면 브라우저 주소 입력창에 '홈페이지 주소/robots.txt'를 통해 확인할 수 있다.

검색 엔진 최적화는 Search Engine Optimization의 약자로 검색 엔진(Search Engine)에 친화적인 홈페이지를 구축하여 광고가 아닌 자연 검색 결과(Organic Search Result)를 통해 트래픽(traffic)의 양과 질을 극대화하는 작업이다. 검색 엔진 최적화란 검색 엔진이 콘텐츠를 이해하고 제공하도록 돕는 일이다. 이를 통해 사용자가 검색했을 때 상위에 노출이 된다.

일부 마케터(marketer)들이 검색 엔진 최적화가 검색 광고 효율성을 관리하는 작업으로 오인하는 일이 있다. 검색 엔진 최적화는 광고와 무관하다. 검색 시 결과를 보면 ‘광고’ 또는 ‘Ad’ 의 라벨과 함께 상단에 노출되는 링크를 광고 검색 결과(Paid Search Result)라 한다. 하단에 검색 결과(SERP, Search Engine Result Page)가 노출된다. 알고리즘에 의해 URL 순위를 지정하고 검색결과에 순서대로 노출한다.

검색 엔진 최적화는 별도의 광고비용을 쓰지 않고 내 콘텐츠를 검색결과의 상위에 노출하는 마케팅 전략 중 하나다. 상위 노출을 통해 홈페이지의 유입을 늘리고, 검색 키워드에 관련된 콘텐츠를 제공할 수 있다. 사용자의 검색에 대한 니즈(needs) 만족을 통해 브랜드 인지도 향상 및 신뢰도 상승, 상품 구매까지 이어지게 할 수 있다.

검색 엔진 최적화는 주요 포털 사이트(portal site) 상위 노출로 광고비를 절감시킬 수 있다. 지속적인 웹사이트 트래픽 증가로 디지털 비즈니스를 하는 사업자에게는 필수적인 영역이 되고 있습니다. 광고는 거부감을 줄 수 있다. 광고가 아닌 정보로 제공함으로 친근하고 신뢰적인 브랜드 구축이 가능하다. 한 번 등록 되면 위치 변동이 거의 없다.

< 저작권자 ⓒ 월간창업경제. 무단전재-재배포 금지 >