자바스크립트 개발자 포럼안녕하세요 자바스크립트를 이용해서 크롤링을 해보려고 하는데요, 크롤링을 하기 전에
크롤링 가능 여부를 확인해야한다고 하더라구요. 법적으로 문제도 되다고 해서요.
공부해보기 위해 실제 배포도 하려고 하는데 사이트 뒤에 robots.txt를 붙여서 내용을 봤을때,
만약 제가 크롤링 하려고 하는것이 disallow 에 /디렉토리가 없으면 사용해도 되는걸까요.?
예를 들어 Disallow: /fonts 가 있을때 저는 /test 를 크롤링 해보고 싶어한다면요.
그리고 /*.asp 가 마지막에 있던데 이건 뭘까요… 인터넷에 찾아보면 주석이라고 하는데 상관없을까요?
감사합니다.