| 제목 | 안녕하세요 크롤러에 대해 궁금한게 있어 이렇게 질문합니다. | ||
|---|---|---|---|
| 글쓴이 | dataguru | 작성시각 | 2013/10/29 09:18:31 |
|
|
|||
|
안녕하세요 크롤러에 대해 궁금한게 있어 이렇게 질문합니다. 제가 이번에 크롤러를 개발하게 되었습니다. 이번 크롤러는 지역, 키워드 별로 데이터를 카테고리별로 저장하는 크롤러 입니다. 여기에서 궁금하게 있습니다. 개발은 먼저 크롤러에 대해 이해하기 위해 php로 먼저 개발할것입니다. 그리고 추후 파이선, 자바를 사용해 다시 개발할예정입니다. 1. 크롤러 사양 -> 크롤러에는 사양이 있다고 들었습니다. 크롤러 사양이라는게 뭔가요?? 2. 크롤러 성능테스트 방법 -> 크롤러 성능테스트 방법에는 어떠한것이 있는지 궁금합니다. |
|||
| 다음글 | 이미지 보이게 하기 (2) | ||
| 이전글 | Codeigniter 2.1.x 기반 공개보드 관련 질... (1) | ||
|
변종원(웅파)
/
2013/10/29 10:29:15 /
추천
0
|
|
dataguru
/
2013/10/29 12:01:55 /
추천
0
변종원님 감사합니다. 많은 도움되었습니다.
빨리 개발해서 원하는 크롤러를 만들어보고싶습니다. ㅎ |
1. 사양에 대한 것은 검색엔진을 상용으로 판매하는 곳에 가면 원하시는 답변을 얻을 수 있습니다.
2. 성능테스트는 원하는 데이터를 시간당 몇건을 크롤링 하느냐겠죠.
원하는 결과가 제대로 안나왔을 경우에 크롤링 서버사양이나 트래픽이 받쳐주지 못했는지 여부를 살펴보고
그 다음은 크롤러의 성능, 크롤링 조건 설정 등등..
이런 조건으로 셋팅했을때 이런 데이터가 나왔다. 시간을 얼마 걸렸고 필요없는 데이터도 수집이 많이 됐다면
조건을 수정하여 다시 크롤링.. 원하는 결과가 나올 때까지 반복입니다.