전체 글42 World's largest free-standing aquarium bursts, leaving 1,500 exotic fish dead 영어 공부를 위해 뉴스를 번역합니다. 이슈가 있을 경우 말씀 부탁드립니다.(I translate English news to learn English. If you have an issue, please reply to this article.) 틀린 사항에 대한 교정은 언제든 환영입니다. 원본 링크 3PM ~ 4:20 PM World's largest free-standing aquarium bursts, leaving 1,500 exotic fish dead -> 세계에서 가장 큰 단독으로 서있는 아쿠아리움의 폭발하여, 1500마리의 이국적인 물고기가 죽게 내버려두었다. (A huge aquarium in Berlin, Germany, home to around 1,500 exotic fish bur.. 2022. 12. 17. [AWS] python으로 s3에 있는 parquet 파일 읽기 목적 S3에 저장해놓은 parquet 파일을 AWS ec2 등의 서버가 아닌 개인 컴퓨터에서 쉽게 읽고싶다. aws configure로 계정정보(access key, secret key)를 저장하는 것이 아닌 코드에서 계정정보를 관리하고싶다. 필자는 pyarrow, s3fs가 동작하지 않아 빠르게 이용할 수 있는 다른 방법을 찾고 싶었다. 코드 import boto3 import io import pandas as pd ... s3_config = { "aws_access_key_id": "{ACCESS KEY}", "aws_secret_access_key": "{SECRET KEY}", "region_name": "{MY REGION}" } ... def pd_read_s3_parquet(key, bu.. 2022. 2. 3. [Hadoop] HDFS에서 S3로 Distcp 목적 on-premise hdfs에서 s3로 데이터 올릴 때 get, put으로 데이터를 올리는 과정이 번거롭다 방법 hadoop distcp -Dfs.s3a.access.key=$AWS_ACCESS_KEY -Dfs.s3a.secret.key=$AWS_SECRET_KEY -Dfs.s3a.endpoint=$AWS_END_POINT $HDFS_SOURCE_PATH s3a://$S3_DEST_PATH fs.s3a.endpoint의 경우 AWS 서비스 엔드포인트를 참고 (ex. s3.ap-northeast-2.amazonaws.com) 2022. 1. 17. [Spark] json->parquet 저장시 특수문자 해결 목적 parquet의 경우, attribute name에 " ,;{}()\n\t=" 문자가 들어가면 rename을 시켜주어야한다. 에러메시지는 아래와 같다. 'Attribute name "my column" contains invalid character(s) among " ,;{}()\\n\\t=". Please use alias to rename it.;' ... pyspark.sql.utils.AnalysisException: 'Attribute name "some-ar ray" contains invalid character(s) among " ,;{}()\\n\\t=". Please use alias to rename it.;' json을 parquet로 저장 시 key값에 해당 문자들이 들어.. 2021. 10. 7. 이전 1 2 3 4 ··· 11 다음 반응형
