크롤링 잘 되는확실한 방법 검색 엔진 크롤러가 웹사이트를 정확히 텀색하고 색인화 할 수 있더록 만드는 것은 seo(검색엔진 최적화)의 핵심입니다. 크롤링이 원할하지 않으면 아무리 훌륭한 콘텐츠를 작성해도 구글 겁색 결과에 노출되지 않을 가능성이 커집니다. 이번 글 에서는 크롤일이 잘 되도록 만드는 확실한 방법을 단계별로 소개하겠습니다.
사이트맵 생성 및 제출
사이트맵은 웹사이트의 모든 페이지를 나열한 xml 파일로, 크롤러가 쉽게 폐이지를 발견하도록 돕습니다.
왜 중요한가
크롤른 ㄴ링클라 따라 이동하여 페이지른 찾는데, 일부 페이지는 링크 구조에서 누라될 수 있습니다.
사이트맵은 이런한 누락된 페이지를 직접 알려줍니다.
설정 방법
1. yoast SEO 또는 Rank Math 플러그인 설치
워드프레스 사용하즌 YOAST SEO 또는 Rank Math 플러그인을 통해 자동으로 사이트맵을 생성할 수 있습니다.
요스트 seo: seo>일반>기능 에서 XML 사이트맵 활성화
랭크매스:Rank math>sitemp 설정 에서 사이트맵 확인
2. 구글 서치 콘솔(GSC)에 제출
GSE 대시보드에서 SITEMAPS 섹션으로 이동합니다.
사이트맵 URL(예: HTTPS://YOURDIMAIN.COM/SITEMAP_Index.xml)을 입력하고 제출합니다.
robots.txt파일 최적화
robots.txt 파일은 크롤러가 접근 가능한 페이지와 금지된 페이지를 알려주는 역할을 합니다.
왜 중요한가
잘못된 설정으로 인해 중요한 페이지가 차단될 수 있습니다.
어떻게 설정하나요?
1. 파일 내용 확인
브라우저에서 http:”//yourdomain.com/robotws.txt를 열어 내용을 확인합니다.
2. 올바른 규칙 설정
예를 들어 모든 크로러에게 접근을 허용하려면 아래와 같이 설정하세요
User-agent: *
Allow: /
특정 디렉토리는 차단할 수 있습니다.
User-agent: *
Disallow: /private/
3. FTP또는 호스팅 관리자 도구로 수정
robost.s.txt파일은 ftp 클라이언트나 호스팅 관리자 도구를 통해 수정할 수 있습니다.
3. 메타 태크 최적화
각 페이지의 <head> 섹션에 포함된 메타 테크를 크롤러가 해당 페이지를 어떻게 처리할지 결정하는 중요한 요소입니다.
왜 중요한가
noindex테크가 있는 페이지는 색인화되지 않습니다.
어떻게 설정하나요?
1. 메타 태그 확인
웹사이트 소스 코드에서 아래와 같이 태그가 있는지 확인합니다.
4. 내부 링크 구조 개선 크롤링 잘 되는확실한 방법
내부링크는 크롤러가 웹사이트의 다른 페이지를 쉽게 발견하도록 돕습니다.
왜 중요한가
중요한 페이지로 연결되는 링크라 없는 겨우 크롤러가 해당 페이지를 발견하기 어렵습니다.
어떻게 개선하나요?
1. 주요 페이지로 연결되는 링크 추가
주요 카테고리나 중요한 페이지로 연결되는 링크를 메인 메뉴 사이드바 본문 등에 배치합니다.
2. 관련 콘텐츠 추천
게시물 하단에 관련 콘텐츠를 추천하여 사용자 경험과 크롤링 효율성을 동시에 높입니다.