robots.txt 파일이란??

Robots.txt

robots.txt는 웹 마스터가 로봇 (일반적으로 검색 엔진 로봇)에게 웹 사이트에서 크롤링 및 색인 페이지를 지시하는 텍스트 파일입니다. 검색 엔진이 인덱스 할 페이지 (또는 인덱스하지 않음)와 웹 사이트의 크롤링 및 무시할 부분을 알 수 있도록하는 데 매우 중요한 파일입니다.

robots.txt 파일이란 무엇입니까?

robots.txt 파일은 로봇에 대한 지침이 포함되어 있고 웹 페이지를 크롤링하는 방법에 대한 지침이 포함 된 텍스트 파일입니다. 웹 크롤러가 웹 사이트에서 콘텐츠에 액세스하고 색인하는 방법을 제어하는 ​​데 사용됩니다. 이 파일은 일반적으로 웹 사이트의 루트 디렉토리에 배치되며 다음 요소로 구성됩니다.

• 사용자 에이전트 : 이것은 명령어가있는 로봇의 이름입니다.
• 허용 : 이것은 로봇이 특정 페이지를 크롤링하고 색인하지 말라고 지시하는 지침입니다.

robots.txt 사용의 이점

robots.txt 파일을 사용하는 것은 웹 사이트 소유자와 검색 엔진 모두에게 매우 유익 할 수 있습니다. robots.txt를 사용하는 것의 주요 이점은 다음과 같습니다.

• 검색 엔진이 색인을 인덱싱하려는 페이지를 색인화하는 데 도움이됩니다. 웹 사이트에 연락처 정보 또는 지불 정보와 같은 민감한 정보가 포함 된 페이지가있는 경우 특히 중요합니다.
• 검색 엔진이 SEO에 중요하지 않은 페이지를 크롤링하고 인덱싱하는 것을 방지하여 웹 사이트 성능을 향상시키는 데 도움이 될 수 있습니다.
• 악의적 인 공격을 시작하는 데 사용될 수있는 악의적 인 로봇이나 크롤러로부터 웹 사이트를 안전하게 유지하는 데 도움이 될 수 있습니다.
• 검색 엔진이 웹 사이트의 가장 중요한 페이지 만 색인화하도록함으로써 웹 사이트 순위를 향상시키는 데 도움이 될 수 있습니다.

robots.txt 파일 만들기

robots.txt 파일을 만드는 것은 비교적 간단합니다. 텍스트 파일을 만들고 적절한 코드 줄을 추가하기 만하면됩니다. 다음은 robots.txt 파일의 예입니다.

User-agent: *  
Disallow : /  

이 robots.txt 파일은 모든 로봇이 전체 웹 사이트에서 멀리 떨어지도록 지시합니다. Robots.txt 파일을 사용자 정의하여 로봇에게 특정 페이지 나 디렉토리에서 멀리 떨어져 있도록 지시 할 수도 있습니다. 예를 들어:

User-agent: *  
Disallow : /secret/  

이 robots.txt 파일은 모든 로봇에게 "비밀"디렉토리에서 멀리 떨어져 있다고 지시합니다. 이는 특정 페이지와 디렉토리가 검색 엔진에서 색인화되는 것을 막을 수있는 좋은 방법입니다.

결론

robots.txt는 검색 엔진이 웹 사이트를 크롤링하고 색인하는 방법을 제어하는 ​​데 사용할 수있는 중요한 파일입니다. 민감한 정보가 포함 된 인덱싱 페이지를 유지하고 웹 사이트 성능을 향상 시키며 웹 사이트 순위를 향상시키는 데 도움이 될 수 있습니다. robots.txt 파일을 만드는 것은 비교적 간단하며 간단히 텍스트 파일을 만들고 적절한 코드 줄을 추가하여 수행 할 수 있습니다.