Python/AWS (4) 썸네일형 리스트형 [Amazon Personalize] Personalize Python SDK 전체 프로세스 정리 1. 데이터 준비 INTERACTIONS, ITEM, USER 데이터에 대해 적절한 필드을 가진 CSV 파일로 S3에 저장 2. 데이터 스키마 생성 사용할 데이터세트별로 스키마를 만들고 만든 각 스키마의 arn 을 추출 3. 데이터세트 그룹 및 데이터세트 생성 전체 데이터세트 그룹을 만들어둠 각 데이터별로 데이터세트 생성 (dataset group arn 지정을 통해 하나의 dataset group 으로 통합 ) 4. S3에 원본 데이터 저장 personalize 에 활용할 데이터를 S3에 csv 파일 형태로 저장 이때 해당 Bucket이 personalize에 활용될 수 있도록 정책을 변경해주어야 함. 이때 해당 Bucket이 personalize에 활용될 수 있도록 정책을 변경해주어야 함. 5. Ro.. [AWS SageMaker] 저장된 모델로 배포하기 How to deploy using pre-trained model in SageMaker sagemaker 는 머신러닝 모델 학습부터 배포까지 한번에 진행할 수 있다고 이야기 하고 있다. 테스트를 진행하다보니 모델을 저장하는 단계와 배포하는 단계에 대해서는 어느정도 알게 된 것 같다. 그런데 이 테스트 코드의 단점은 이미 저장한 모델을 활용하는 부분이 빠져있다는 것이다. 모델에 데이터를 학습하고 바로 모델을 배포하고 예측하기도 하지만, 학습된 모델을 이후 다른 작업이나 프로젝트에도 활용이 가능해야 한다. 그래서 학습된 모델을 저장하고 나서 이 모델을 활용하기 위한 방법을 찾아보았다. # STEP 1. 학습된 모델의 저장 위치 와 What kind ? 이전에 학습을 진행한 모델이 S3의 어느 위치에 저장.. [AWS SageMaker] US census data for population segmentation https://aws.amazon.com/ko/blogs/machine-learning/analyze-us-census-data-for-population-segmentation-using-amazon-sagemaker/ Analyze US census data for population segmentation using Amazon SageMaker | Amazon Web Services August 2021: Post updated with changes required for SageMaker SDK v2, courtesy of Eitan Sela, Senior Startup Solutions Architect In the United States, with the 2018 midterm elect.. [AWS SageMaker] MNIST 데이터셋 Clustering 얼마 전 부터 AWS SageMaker 공부를 시작했다. SageMaker 는 AWS 상에서 쉽게 데이터 처리와 머신러닝 모델 구축 그리고 배포까지 도와주는 서비스라고 한다. 모델을 학습시켜본 적은 있지만 모델을 저장하고 배포한 적이 없어서 어떤 식으로 진행이 되는 것인지 배우려고 한다. 일단 그 전에 SageMaker 자체에 좀 익숙해지기 위해 테스트를 진행해보는 중이다. 브랜디 랩스 개발자 분이 올려주신 코드를 활용해보았다. SageMaker 기본 세팅 이후 s3에 학습 데이터를 저장하기 위해 sagemaker의 제한을 두는 role을 지정하여 사용해야 한다. 데이터 저장 및 활용 손글씨 숫자 데이터인 MNIST 이미지 데이터를 활용하기 위해 우선적으로 다운로드가 필요했다. 참고했던 사이트에서 활용하.. 이전 1 다음
