웹크롤러 파셔, 퍼저, 컬랙터
djcom
비정형의 문자열에서 의미부분을 추론하는 규칙을 만드는 파셔, URL 의 반복되는 부분들을 일정한 방식으로 만들어내는 퍼저, 퍼저를 통해 양산된 URL 을 반복해서 진입하여 얻은 출력물의 처리된 결과 값을 저장하는 컬랙터 로 구성된 웹 크롤러입니다.
ROAD MAP
사용방법
- 먼저 파셔 룰 목록에서 목록의 아무런 항목의 [파셔 설정] 을 눌러 파셔룰의 편집화면에 진입합니다.
- 새로운 룰을 생성하려면, 이 화면에서 [새로 만들기] 를 눌러서 새로운 룰을 만들 수 있습니다.
- 룰 이름을 정하고, 페이지 URI 에 파싱을 수행할 URL 값을 입력한 다음 채크 모양의 아이콘을 눌러 페이지 추출 테스트를 합니다.
- 테스트에 실패하였다면, 성공적인 HTTP 호출을 위해 반드시 필요한 POST 나 Header 값들을 적절히 입력하거나 CURL 입력 인터페이스에서 필요한 값을 입력합니다.
- 페이지 추출 테스트에서 적절한 결과값을 돌려준다면, DB 에서 Insert 문으로 반영할 루프 짜를 문자열 또는 JSON 선택자를 통해 (List) 추가적인 작업을 수행할 수 있습니다.
- 리스트페이지의 의미 부분을 추론하려면 [필드정보입력] 란에서 필요한 항목을 기입하고 [아이템 테스트] 를 수행하십시오.
- 퍼저를 통해 진입하게 되는 리스트 페이지에서 추론되는 상세페이지 전체를 크롤링하려면 [상세페이지 필드] 를 지정하고, 필드 정보 입력 란에서 상세페이지 탭의 항목들을 추가로 기입한 다음 진행할 수 있습니다.
- 상세페이지에 등장하는 코멘트 (댓글) 항목들을 한 번 더 크롤링하려면 필드 정보 입력란의 코멘트 페이지 탭의 항목들을 추가로 기입합니다.
- 파셔룰을 통해 추론된 값을 추가적인 함수 부분에서 별개의 파이프라인을 태울 수 있습니다. 예를 들면 내장된 함수 중 get_data_from_url 을 사용할 경우 파셔의 결과값을 통해 또 다른 URL 을 연쇄적으로 호출할 수 있게 됩니다.
- 파셔룰이 완성되면 저장하고, 파셔 목록 화면에서 해당 파셔의 [파셔실행] 을 눌러 파싱을 수행할 수 있습니다.
- 파싱은 크게 스케쥴링을 통해 진행하거나, 직접 소켓 통신을 통해 실시간으로 수행할 수 있습니다.
- 실행기록은 과거의 파셔 실행 기록을 담고 있으며 과거 기록을 클릭하면 과거에 실행한 값을 그대로 불러와서 다시 실행할 수 있게 됩니다.
- API 설정을 통해, URL 을 통한 외부 유입으로 우회적으로 파싱을 수행하여 결과물을 피드로 받아갈 수 있는 기능이 제공됩니다.
- 룰 보내기를 통해, 여러 곳에 설치된 다른 시스템에서 동일한 파셔룰을 불러올 수 있습니다.
기대효과
- HTTP 프로토콜로 접근이 허용된 외부 세계에 존재하는 모든 리소스에 접근할 수 있으며 의미 부분을 여러 단계에 걸쳐서 심도 있게 추론할 수 있습니다.
- 스케쥴 예약기능을 제공해주기에 매우 방대한 컨텐츠에 대해서도 작업을 수행할 수 있습니다.
- 방화벽이 적용된 곳에 진입하여 악의적인 사용자로 오인할 경우를 막기 위해 IP 오버라이더를 통하여 다수의 여러 IP 를 통해 단일한 목적의 크롤링 작업을 수행할 수 있습니다.
- 추론된 데이타는 SQL Insert statement, 데이타베이스 직접 입력, CSV, 워드프레스의 입력값, MS Word 등 여러 포맷으로 Export 할 수 있습니다.
- API 피드 기능을 이용하여, URL 과 ACL 정책의 적용을 받아 외부 호출을 통해 데이타 원본으로써의 역할을 수행할 수 있습니다.
- 여러 시스템에서 동시에 사용하는 경우에 내보내기 가져오기 기능을 사용하여 적절하게 운용될 수 있습니다.
- 내장된 데이타베이스 기능 및 데이타에디터에서 추가적인 작업을 바로 진행할 수 있습니다.
