대용량데이터처리 (1) 썸네일형 리스트형 공공데이터 API 수집 + Python + Firebase 저장 이제 국민연금공단에서 제공하고 있는 사업자 내역 데이터를 가져올 수 있다. 가지고 온 데이터는 월별 데이터로 월별 50만개 정도의 데이터가 있다. 약 50만개 * 70개월 = 약 3500만개 정도 되는 것이다. 물론 모든 데이터를 가지고 있을 필요는 없지만 근래와 이후 발생할 데이터를 고려한다면 파일 형태 저장이 아닌 데이터베이스에 저장할 필요가 있다고 판단했다. 이때 활용할 데이터베이스는 Firebase 이다. 회사 업무로 여러가지를 찾아보면서 알게 되었는데 많이들 사용하는 것 같다. 그래서 이번 작업은 Python 을 이용해 공공데이터를 수집하고 바로 Firebase에 저장하는 것이다. 우선 연동하기에 앞서 Firebase 에 프로젝트를 생성해야 한다. 이 과정을 통해 비공개 키를 받았다. 또한 py.. 이전 1 다음
