제목 | 두가지 궁금점이 있습니다. | ||
---|---|---|---|
글쓴이 | beop | 작성시각 | 2016/04/14 09:01:09 |
|
|||
안녕하세요. 여기서 많은 도움을 얻고가네요. 감사합니다.
먼저 첫번째로 카페24 호스팅을 이용중입니다. 매일 20mb 정도되는 json 파일을 파싱하여 insert_batch() 함수로 DB에 자동업로드 되게 셋팅을 하였습니다. 기존의 데이터는 truncate()로 비우고 새데이터를 업로드 하는 방식입니다. 10mb 이상의 데이터를 한번에 처리해본적이 없어서 약간 걱정이 되네요.. 저런식으로 짜도 무리가 없을지 궁금합니다...
두번째로 과부하가 걱정되서 코드 효율적으로 다시 짠다면 싶다면 어떻게 처리하는 것이 맞을까요? insert_batch() 로 한번에 넣는 방식이라 sleep을 쓰기에 조금 애매한감이 있네요. (DB 설정에 pconnect(영속적연결)은 현재 false로 되어있습니다. 냅두는 것이 맞겠지요?)
매번 감사합니다. (__) |
|||
다음글 | DB데이터 가공해서 list 배열에 추가해서 forea... (4) | ||
이전글 | Codeigniter 디플로이(?) (1) | ||
kaido
/
2016/04/14 09:35:09 /
추천
0
|
beop
/
2016/04/14 09:36:38 /
추천
0
@kaido 네 추가가 아니라 전부 매일 바뀝니다. 데이터는 평균 1만개 내외 입니다. 현재는 빠르게 잘되고있습니다. 무리가 없을런지요?
|
변종원(웅파)
/
2016/04/14 09:50:58 /
추천
0
10메가, 1만개는 그냥 걱정 없이 사용하시는게... ^^ 이 데이터가 계속 크기가 지속적으로 늘어나는 것이라면 고민을 해볼 필요가 있구요. |
beop
/
2016/04/14 09:57:08 /
추천
0
@웅파 20mb입니다. 상관없겠죠~?감사합니다.
|
궁금한점은 파싱 하는 파일 데이터는 매번 바뀌나요?
가령 10만번째 까지는 일치하고 추가가 되는것인지, 아니면 1번부터 전혀 다르게 들어가는 것인지.
제가 sleep 를 추천한건 한번 넣는 데이터라고 판단해서 입니다만, 매일 해야 한다면 고급지게 MQ 방식을 사용 하셔야 합니다.
큐 스택 서버에 대해서 한번 검색해 보세요.