AWS3 [AWS] python으로 s3에 있는 parquet 파일 읽기 목적 S3에 저장해놓은 parquet 파일을 AWS ec2 등의 서버가 아닌 개인 컴퓨터에서 쉽게 읽고싶다. aws configure로 계정정보(access key, secret key)를 저장하는 것이 아닌 코드에서 계정정보를 관리하고싶다. 필자는 pyarrow, s3fs가 동작하지 않아 빠르게 이용할 수 있는 다른 방법을 찾고 싶었다. 코드 import boto3 import io import pandas as pd ... s3_config = { "aws_access_key_id": "{ACCESS KEY}", "aws_secret_access_key": "{SECRET KEY}", "region_name": "{MY REGION}" } ... def pd_read_s3_parquet(key, bu.. 2022. 2. 3. [AWS] Python으로 S3 Object(디렉터리 혹은 파일) 아래 파일 확인 목적 바로 아래 depth의 디렉터리의 목록을 뽑아낸다. 예를들어 아래와 같은 구조가 있다고 할 때에, /a/b2를 파라미터로 넣으면 [a/b2/c1, a/b2/c2]의 결과를 얻고싶다. s3://bucket/a/b1/c1/d1 s3://bucket/a/b1/c1/d2 s3://bucket/a/b1/c2/d1 s3://bucket/a/b1/c3/d1 s3://bucket/a/b1/c4/d1 s3://bucket/a/b2/c1/d1 s3://bucket/a/b2/c2/d2 s3://bucket/a/b3/c2/d1 s3://bucket/a/b4/c3/d1 s3://bucket/a/b5/c1/d1 과정 from boto3 import client ... s3_client = client('s3') bucket.. 2021. 8. 3. [AWS] Python으로 S3 Object(디렉터리 혹은 파일)의 용량 확인 목적 AWS를 이용 시 S3내의 Object(S3에는 디렉터리의 개념이 없음)의 용량을 확인해야하는 경우가 있음 python boto3를 이용해 S3에 존재하는 Object의 용량을 확인해보자 과정 다음의 코드를 작성하여 사이즈를 가져올 수 있었다. get_directory_size_bytes를 이용하며 해당 메서드의 결과값은 byte 단위이므로 이용 시 유의하여야한다. from boto3 import client def remove_prefix(text, prefix): if text.startswith(prefix): return text[len(prefix):] return text def get_directory_size_bytes(s3Url): s3_client = client('s3') buc.. 2021. 7. 8. 이전 1 다음 반응형
