Java & Spring
스프링 크롤링+스케쥴링
1. 크롤링 대상이 크롤링을 허용하는지 확인 2. pom.xml 에 jsoup 추가 3. 크롤링을 수행할 java 클래스 작성 4. servlet-context.xml 에 내용 추가 5. 스케쥴링 1. 크롤링 대상 사이트의 크롤링 규정을 살핍니다. 구글을 크롤링 대상으로 삼는다면 최상위 폴더 내의 robots.txt 에 접근해서 확인합니다. https://www.google.com/robots.txt User-agent : * 는 모든 크롤러에게 적용한다는 의미입니다. Disallow: /search 는 google.com/search 페이지의 크롤링은 금한다는 의미입니다. Allow:는 반대겠죠? 2. pom.xml 에 jsoup 추가 org.jsoup jsoup 1.13.1 3. 크롤링을 수행할 ja..
