Python/Software (4) 썸네일형 리스트형 Komaran 의 java.lang.NullPointerException 에러 + 해결방안 텍스트 데이터에 대해 Konlpy 태깅 작업을 하던 중 에러가 발생. Mecab, Kkma, Okt 태깅 작업에서는 해당 에러가 발생하지 않았지만 Komaran 을 적용할 때만 발생. 찾아본 결과 텍스트 내의 \n 등의 문자등을 인식하지 못해 발생하는 것. 다른 태깅들은 자동으로 제외를 시켜주지만 Komaran은 자동으로 처리를 해주지 않아 발생하는 것으로 보임. replace 함수를 통해 해당 문자를 바꿔주었지만 여전히 에러. 텍스트를 직접 확인해보니 replace 적용이 되지 않은 상태였다. replace 적용을 위해 해당 칼럼을 str 를 처리하고 replace 하는 방식이 필요. 문자열로 변환한 다음 처리했더니 에러 없이 적용이 되는 것으 확인할 수 있음. MongoDB를 위한 Robo 3T 설치 및 open Shell MongoDB를 관리하기 위한 툴로 Robo 3T를 사용하기로 했다. 그냥 테스트용으로 사용할 예정이었기 때문에 관리 툴까지는 생각해본 적이 없었다. 하지만 데이터를 수집하다보니 데이터의 양이 많아졌고, 관리 툴의 필요성이 느껴졌다. robo 3T 말고 다른 툴도 사용하다고 하는데 일단 난 Robo 3T를 골랐다. 설치는 생각보다 훨씬 간단했다. brew 만 있으면 된다. Robo 3T 가 있는지 확인하고 brew install 로 바로 설치하면 끝 이 과정에서는 오류도 발생하지 않았다. 설치하고 나면 응용프로그램에 Robo3T가 설치된 것을 확인할 수 있다. 설치하고 더블 클릭해서 들어가면 보안 문제가 발생했다 그건 맥 설정 들어가서 보안 영역에서 open 해주면 해결되었다. Robo 3T에 대해 검색.. MongoDB 설치 on M1 공공 데이터 포털에서 데이터를 수집해 firebase에 저장하고 있었다. 하지만 무료 계정은 역시나 용량이 작다... 결국 로컬에 데이터베이스를 설치하기로 했다. 많은 양의 데이터를 저장할 예정이고 공공데이터 등 외부에서 수집할 데이터를 저장하기 때문에 join 작업이 많이 없기 때문에 NoSQL 데이터베이스를 선택했다. 그 중 MongoDB를 사용하기로 했다. mac M1 을 사용하고 있어 설치하는데 x86 Homebrew 를 설치 및 이용해야 한다고 하는데 무슨 말인지 이해하지는 못했고 아래의 글 그대로 진행했다. https://sun5066.tistory.com/entry/M1-맥북-몽고디비-설치 [M1 맥북 프로] 몽고디비 설치 일단... M1 칩셋에서는 몽고디비가 아직까지 로제타2로 돌아가기 때.. 공공데이터 API 수집 + Python + Firebase 저장 이제 국민연금공단에서 제공하고 있는 사업자 내역 데이터를 가져올 수 있다. 가지고 온 데이터는 월별 데이터로 월별 50만개 정도의 데이터가 있다. 약 50만개 * 70개월 = 약 3500만개 정도 되는 것이다. 물론 모든 데이터를 가지고 있을 필요는 없지만 근래와 이후 발생할 데이터를 고려한다면 파일 형태 저장이 아닌 데이터베이스에 저장할 필요가 있다고 판단했다. 이때 활용할 데이터베이스는 Firebase 이다. 회사 업무로 여러가지를 찾아보면서 알게 되었는데 많이들 사용하는 것 같다. 그래서 이번 작업은 Python 을 이용해 공공데이터를 수집하고 바로 Firebase에 저장하는 것이다. 우선 연동하기에 앞서 Firebase 에 프로젝트를 생성해야 한다. 이 과정을 통해 비공개 키를 받았다. 또한 py.. 이전 1 다음
