distcp2 [Hadoop] HDFS에서 S3로 Distcp 목적 on-premise hdfs에서 s3로 데이터 올릴 때 get, put으로 데이터를 올리는 과정이 번거롭다 방법 hadoop distcp -Dfs.s3a.access.key=$AWS_ACCESS_KEY -Dfs.s3a.secret.key=$AWS_SECRET_KEY -Dfs.s3a.endpoint=$AWS_END_POINT $HDFS_SOURCE_PATH s3a://$S3_DEST_PATH fs.s3a.endpoint의 경우 AWS 서비스 엔드포인트를 참고 (ex. s3.ap-northeast-2.amazonaws.com) 2022. 1. 17. [Hadoop] Distcp 시 Check-sum mismatch 현상 상황 Distcp시에 IOException이 발생하며 다음과 같은 에러메시지가 나온다. Error: java.io.IOException: File copy failed: ... Caused by: java.io.IOException: Couldn't run retriable-command: ... Caused by: java.io.IOException: Check-sum mismatch between ... Source and target differ in block-size. Use -pb to preserve block-sizes during copy. Alternatively, skip checksum-checks altogether, using -skipCrc. (NOTE: By skipp.. 2020. 6. 8. 이전 1 다음 반응형
