AWS s3 cli 다운로드/업로드

---

AWS Command Line interface를 이용한 S3 다운/업로드

• AWS CLI(Command Line Interface) 등록

$ aws configure

AWS Access Key ID : **
AWS Secret Access Key : **
Default region name : us-east-2
Default output format : None

• S3에 올라간 dtm 데이터와 model을 ec2에 복사하기

$ aws s3 cp s3://ssac-2nd-team-mint/dtm_data/ /home/ec2-user/dtm_data/ --recursive
$ aws s3 cp s3://ssac-2nd-team-mint/model/ /home/ec2-user/model/ --recursive

• S3에 업로드

$ aws s3 cp /{업로드할 파일 또는 폴더} s3://{s3이름}/{경로}/

• S3에 다운로드

$ aws s3 cp s3://{s3이름}/{경로}/ /{업로드할 파일 또는 폴더}

–recursive를 붙이면 하위폴더를 포함한다.
앞에 time을 붙이면 총 시간을 표시해준다.

cp vs sync

cp

• cp는 대상 폴더에 이미 존재하더라도 모든 파일을 복사한다.
• cp는 원본 폴더에서 파일들이 삭제 되었더라도 대상 폴더의 파일들을 삭제하지 않는다.

sync

• sync는 원본 폴더에서 대상 폴더로 새로 생성되었거나 업데이트 된 파일들만 복사한다. sync는 파일들을 복사하기 전에 대상 폴더를 먼저 확인한다.
• –delete 플래그는 원본 폴더에 없지만 대상 폴더에 있는 파일들의 삭제를 지원한다. sync는 파일 크기와 마지막으로 수정된 시간을 비교해 파일을 업데이트해야 하는지 확인한다. sync는 파일 내용을 비교하지 않는다.

cp를 사용하는 경우

• cp는 sync보다 간단하고 성능이 뛰어난 작업이다. 몇 개의 파일을 복사하거나 디렉토리를 동기화 상태로 유지하는데 신경쓰지 않는다면 cp를 사용해야 한다.

sync를 사용하는 경우

• 원본 폴더와 대상 폴더의 구조를 동기화 상태로 유지하려는 경우 sync를 사용해야 한다. eg. 정적 웹사이트의 유지
• 새 파일이나 업데이트 된 파일만 복사하기 때문에 일반적으로 sync가 cp보다 적은 데이터를 복사한다.

Reference

• Learn AWS: AWS S3: cp vs sync