전체 글45 [NIFI] NIFI OutOfMemoryError: Java Heap Space 늘리기 에러가 나요 에러가 나{ "cause0":"java.lang.outofmemoryerror: java heap space", "message":"java.lang.outofmemoryerror: java heap space", "url":"/nifi-api/flow/process-groups/d9db24fd-0191-1000-30d0-761e1d6db1d7", "status":"500" } 해결방법nifi 설치 경로에 가서~~/nifi/conf/bootstrap.conf 파일에서 JVM 메모리 설정 변경.1g -> 4096m 으로 변경 2024. 11. 5. [Java] 이클립스/자바 콘솔창에 \r(캐리지 리턴) 이스케이프 문자 적용해서 애니메이션 만들기 프로젝트에서 데이터들을 읽어와서 그룹핑 처리를 할 때 한 줄 씩 다 찍으면서 진행률 확인하면 콘솔창이 터지니까~~학원 때 봤었던 애니메이션을 써보려고 했는데아니 이클립스 콘솔창에서는 \r 이게 안먹히는겨?!? 원래는 이스케이프(캐리지 리턴)으로 현재 줄의 맨 앞으로 커서가 이동해야 하는디그냥 개행되버러야??(\n랑 똑같이..)구글링 해도 별 소득이 없구... 그냥 혼자 이클립스 설정 뒤지다가 먼가를 발견 야호저거 체크 해주면 된당.떠억 하니 캐리지 리턴 설정해준다고 써있다 ㅋㅋㅋ 테스트 코드.protected void test() throws InterruptedException { char[] animationChars = new char[] {'-', '\\', '|', '/'}; in.. 2024. 10. 25. [python] 매핑 할 때 threadpoolexecutor VS 그냥 오잉? 매핑 3단계가 있슴.명칭 매핑 (name_full like '%{poi명}%')건물번호 매핑 (where bd_id = '{poi의 건물번호}')반경 매핑 ( ST_MAKEPOINT, ST_BUFFER, ST_INTERSECTS) 동일한 data를 가지고 각 매핑단계를 돌려서 나온 result1, result2, result3을 하나의 dataframe으로 합쳐서 결과테이블 만드는 구조. 일단 테스트로 ㅎㅎ 작고 귀여운 30개 정도를매핑1->매핑2->매핑3 순차적으로 돌리고 insert한 경우 소요시간 11분 ThreadPoolExecutor 로 매핑1,2,3을 동시에 돌리고 insert한 경우 소요시간10분. 당연히 멀티돌린게 더 빠를 줄 알았는데 소요 시간 비슷함.긍데 데이터 row가 쬐끄만해서 .. 2024. 7. 17. [postgresql] pgAdmin으로 csv파일을 테이블(db)에 import 하기 (+Encoding설정!!) 대용량 엑셀 파일을 db에 빠르게 넣기 위해 원본xlsx → csv로 변환 해주고 COPY문을 사용할 것이다. 원본 xlsx에 주소컬럼에 ,이 쓰이므로 DELIMETER는 '|'으로 하였다. 차장님이 주신 사이트 ↓ https://ysyblog.tistory.com/143 를 참고하여 진행 했는데 sql shell로 하니까 database변경 하는걸 모르겠어서 pgAdmin으로 하는 뱡향으로 우회 참고 ↓ https://duriduriduri.tistory.com/15 그런데 데이터에 특이한 한글(맞춤법 위배되는 ㅠ)이 있어서 인코딩 부분에서 계속 오류가 남 ㅠ EUC_KR, UTF8을 해도 다 오류가 나는겨!!!!! 그래서 또 서치서치 https://answers.microsoft.com/ko-kr/m.. 2024. 2. 28. [Python] 파이썬으로 엑셀 다루기 및 인덱싱 속도 원본 엑셀파일을 pandas read_excel로 읽어서 dataframe으로 받는다. dataframe 다루기 iloc loc at iat 등등 있음 iloc / loc 는 인덱싱에 사용됨. loc는 레이블(컬럼명)을 기준으로 행/열 선택 df.loc['d':, 'B':'C'] d행의 B열~C열 선택 iloc는 위치(인덱스나 컬럼의 정수번호)를 기준으로 행/열 선택 df.iloc[3:, 1:3] 위와 동일하게 d행의 B열~C열 선택인데 정수표현으로 함 at / iat 은 단일값을 다룸. at은 행 인덱스와 열 이름을 사용해서 값을 가져오거나 변경 df.at['a', 'A'] 또는 df.at[0, 'A'] 하면 첫 행의 A열의 값을 가져옴 iat은 행변호와 열번호를 사용해서 값을 가져오거나 변경 df.i.. 2024. 2. 15. [Python] 대용량 엑셀 프로그램 만들다가 머리 뽀개질 것 같아서 쓰는 중간 정리.txt[24.02.07작성] 24.02.07 데이터 처리해서 엑셀로 저장하는거 이거 하나 만드는데 몬데 3일 걸려 (왜냐믄 외부문서 참조해서 데이터 갖고오능거 드럽게 안풀림ㅡ3ㅡ) 나중에 DB 어캄 암튼... 대용량 엑셀 파일을 다뤄야 하고 파이썬 라이브러리에서 엑셀 다루는 거는 두개 인듯 openpyxl, pandas openpyxl 쉽다 가볍다 엑셀 읽기 좋음 → CRU 가눙 pandas 데이터 분석 & 조작에 최적화 DataFrame 제공 → 표 형식 다루기에 용이 다양한 함수, 기능 제공 대용량 데이터 다루기에 적합?? 몰루 원본 엑셀파일에서 필요한 컬럼 뽑아서 정제 돌리고 [결과물 + 원본참조 수식 컬럼] 을 정제결과 시트로 저장 대충 요런 프로세스. 마인드맵 써보라고 하셧눈디 잘 손이 안간다 UI 가 너무 석기시대... 2024. 2. 15. [Python] Vscode pip 설치 및 import 하기 https://hot-computer.tistory.com/entry/vscode-%EB%B9%A0%EB%A5%B4%EA%B3%A0-%EA%B0%84%EB%8B%A8%ED%95%98%EA%B2%8C-pip-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0openpyxl-%EC%9E%84%ED%8F%AC%ED%8A%B8-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EC%84%B8%ED%8C%85 vscode 빠르고 간단하게 pip 설치하기(openpyxl 임포트, 파이썬 세팅) 오랜만에 파이썬 좀 하려니 vscode 가 pip 를 모른 척 합니다... 그래서 간단히 할 수 있는 비주얼스튜디오코드 pip 적용하기!! 다들 직접 환경변수 path 수정하시던대... 1. 어디 깔려있는지 .. 2024. 1. 30. [Spring] STS4 설치 및 SVN와 연동하기 | SVN Connector 설치 오류 새로 받는 SVN 프로젝트를 eclipse로 받으면 에러나는겨 알고보니 STS4에 받아야 하는겨. https://github.com/spring-projects/sts4/wiki/Previous-Versions Previous Versions The next generation of tooling for Spring Boot, including support for Cloud Foundry manifest files, Concourse CI pipeline definitions, BOSH deployment manifests, and more... - Available for Eclipse... github.com 에서 4.9.0 버전 다운로드 해주공 4개중에서 zip 파일을 C드라이브 에서 압축 풀어주.. 2024. 1. 23. [Java] 자바 1.8버전 현재날짜, 시간 구하기 | Date vs Calendar 비교 오랜만에 쓰려니까 까묵까묵해서 정리. 자바 1.8버전 이전 java.util.Date java.util.Calendar 자바 1.8버전 이후 java.time.LocalDate java.time.LocalTime java.time.LocalDateTime java.util.Date import java.util.Date; Date now = new Date(); System.out.prinltn(now);// Thu Jan 22 시:분:초 KST 2023 // 포맷팅 정의 SimpleDateFormat formatter = new SimpleDateFormat("yyyy년 MM월 dd일 HH시 mm분 ss초"); // 포맷팅 적용 String formatedNow = formatter.format(now.. 2024. 1. 22. 이전 1 2 3 4 5 다음
