본문 바로가기
Python

[python] 매핑 할 때 threadpoolexecutor VS 그냥 오잉?

by dev_haha 2024. 7. 17.

매핑 3단계가 있슴.

명칭 매핑 (name_full like '%{poi명}%')

건물번호 매핑 (where bd_id = '{poi의 건물번호}')

반경 매핑 ( ST_MAKEPOINT,  ST_BUFFER, ST_INTERSECTS)

 

동일한 data를 가지고 각 매핑단계를 돌려서 나온 result1, result2, result3을 하나의 dataframe으로 합쳐서 결과테이블 만드는 구조.

 

일단 테스트로 ㅎㅎ 작고 귀여운 30개 정도를

  • 매핑1->매핑2->매핑3 순차적으로 돌리고 insert한 경우 소요시간 

11분

 

  • ThreadPoolExecutor 로 매핑1,2,3을 동시에 돌리고 insert한 경우 소요시간

10분.

 

 

당연히 멀티돌린게 더 빠를 줄 알았는데 소요 시간 비슷함.

긍데 데이터 row가 쬐끄만해서 그런거 같음. (threadpool사용할 때는 데이터 클 수록 효과본댓슴)

그러면 더 크게 해서 돌려보면은

 

돌리는 중...