Python4 [python] 매핑 할 때 threadpoolexecutor VS 그냥 오잉? 매핑 3단계가 있슴.명칭 매핑 (name_full like '%{poi명}%')건물번호 매핑 (where bd_id = '{poi의 건물번호}')반경 매핑 ( ST_MAKEPOINT, ST_BUFFER, ST_INTERSECTS) 동일한 data를 가지고 각 매핑단계를 돌려서 나온 result1, result2, result3을 하나의 dataframe으로 합쳐서 결과테이블 만드는 구조. 일단 테스트로 ㅎㅎ 작고 귀여운 30개 정도를매핑1->매핑2->매핑3 순차적으로 돌리고 insert한 경우 소요시간 11분 ThreadPoolExecutor 로 매핑1,2,3을 동시에 돌리고 insert한 경우 소요시간10분. 당연히 멀티돌린게 더 빠를 줄 알았는데 소요 시간 비슷함.긍데 데이터 row가 쬐끄만해서 .. 2024. 7. 17. [Python] 파이썬으로 엑셀 다루기 및 인덱싱 속도 원본 엑셀파일을 pandas read_excel로 읽어서 dataframe으로 받는다. dataframe 다루기 iloc loc at iat 등등 있음 iloc / loc 는 인덱싱에 사용됨. loc는 레이블(컬럼명)을 기준으로 행/열 선택 df.loc['d':, 'B':'C'] d행의 B열~C열 선택 iloc는 위치(인덱스나 컬럼의 정수번호)를 기준으로 행/열 선택 df.iloc[3:, 1:3] 위와 동일하게 d행의 B열~C열 선택인데 정수표현으로 함 at / iat 은 단일값을 다룸. at은 행 인덱스와 열 이름을 사용해서 값을 가져오거나 변경 df.at['a', 'A'] 또는 df.at[0, 'A'] 하면 첫 행의 A열의 값을 가져옴 iat은 행변호와 열번호를 사용해서 값을 가져오거나 변경 df.i.. 2024. 2. 15. [Python] 대용량 엑셀 프로그램 만들다가 머리 뽀개질 것 같아서 쓰는 중간 정리.txt[24.02.07작성] 24.02.07 데이터 처리해서 엑셀로 저장하는거 이거 하나 만드는데 몬데 3일 걸려 (왜냐믄 외부문서 참조해서 데이터 갖고오능거 드럽게 안풀림ㅡ3ㅡ) 나중에 DB 어캄 암튼... 대용량 엑셀 파일을 다뤄야 하고 파이썬 라이브러리에서 엑셀 다루는 거는 두개 인듯 openpyxl, pandas openpyxl 쉽다 가볍다 엑셀 읽기 좋음 → CRU 가눙 pandas 데이터 분석 & 조작에 최적화 DataFrame 제공 → 표 형식 다루기에 용이 다양한 함수, 기능 제공 대용량 데이터 다루기에 적합?? 몰루 원본 엑셀파일에서 필요한 컬럼 뽑아서 정제 돌리고 [결과물 + 원본참조 수식 컬럼] 을 정제결과 시트로 저장 대충 요런 프로세스. 마인드맵 써보라고 하셧눈디 잘 손이 안간다 UI 가 너무 석기시대... 2024. 2. 15. [Python] Vscode pip 설치 및 import 하기 https://hot-computer.tistory.com/entry/vscode-%EB%B9%A0%EB%A5%B4%EA%B3%A0-%EA%B0%84%EB%8B%A8%ED%95%98%EA%B2%8C-pip-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0openpyxl-%EC%9E%84%ED%8F%AC%ED%8A%B8-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EC%84%B8%ED%8C%85 vscode 빠르고 간단하게 pip 설치하기(openpyxl 임포트, 파이썬 세팅) 오랜만에 파이썬 좀 하려니 vscode 가 pip 를 모른 척 합니다... 그래서 간단히 할 수 있는 비주얼스튜디오코드 pip 적용하기!! 다들 직접 환경변수 path 수정하시던대... 1. 어디 깔려있는지 .. 2024. 1. 30. 이전 1 다음
