티스토리

Sun 의 공부 블로그

검색하기

블로그 홈

Sun 의 공부 블로그

reason1241.tistory.com/m

공부의 Sun 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

2025/01/18 영어 문장 모음 I'm working around the clock because I have to finish this project by next Friday.You are always working against the clock.I hate racing against the clock because it leaves room for mistakes.It's a moot point because he always left the building.It's pointless because I already spent my deposit.I need to act my age. I still spend a lot of time playing computer games.I'm on pins and needles becaus.. 공감수 2 댓글수 0 2025. 1. 19.
Qiskit 설치 Qiskit 공식 유튜브 채널의 영상인 How to Install Qiskit | Coding with Qiskit 1.x | Programming on Quantum Computers 을 따라하면 아주 쉽게 필요한 환경을 설치할 수 있다.해당 영상에서는 conda 환경에서 pip을 설치하여 아래 라이브러리들을 설치한다.`qiskit, matplotlib, qiskit_ibm_runtime, pylatexenc`그 후 IBM 퀀텀 플랫폼에 접근하여 API를 발급하는 영상이다. 공감수 5 댓글수 0 2025. 1. 17.
2025/01/17 영어 문장 모음 If you think you're the only one who knows best, you are bound to repeat the same errors.At other times, it may be due to bereavement, sudden loss, relationship difficulties, family breakup, sickness, work issues, unemployment or opposition.Love your enemies and pray for those who persecute you, that you may be children of your Father in heaven.The hallmark of the Christian.Find a quiet, seclude.. 공감수 0 댓글수 0 2025. 1. 17.
참고 자료 앙자 컴퓨터를 공부하는데 이용할 자료들.- Quantum Computing: A Gentle Introduction (Scientific and Engineering Computation)- Introduction to Classical and Quantum Computing- Qiskit: 퀀텀 컴퓨팅 프로그램을 실제로 동작시켜볼 수 있도록 하는 라이브러리. 현재 IBM 의 환경을 이용해서 돌릴 수 있는 것으로 보임. 공감수 0 댓글수 0 2025. 1. 16.
2025/01/16 영어 문장 모음 determined to begin a concerted action against themproviding auxiliary outputs.A rudimentary understanding classical computing makes it easier to understand quantum computing.Sow for yourselves righteousness; reap steadfast love; break up your fallow ground, for it is the time to seek the LORD, that he may come and rain righteousness upon you.You sow seeds on soil sparingly.Do not be anxious abo.. 공감수 0 댓글수 0 2025. 1. 16.
뉴스 링크 모음 종합Newsweek과학NIST주식Money Morning 공감수 1 댓글수 0 2025. 1. 15.
2025/01/14 영어 문장 모음 Google claimed quantum supremacy couple years back in 2019 and was later debunked by IBM.Building quantum systems is a feat of science and engineering and benchmarking them is a formidable challenge.through its association with white supremacy, evokes a repugnant political stance.outside of the rarified world of quantum computing experts that can put it in the appropriate context 공감수 2 댓글수 0 2025. 1. 15.
2025/01/12 영어 문장 모음 There is a tendency to denigrate the poor.He never missed an opportunity to disparage his competitors.She was an incisive critic.The crude satire seems to be directed at the fashionable protest singers of the time. 공감수 0 댓글수 0 2025. 1. 13.
2025/01/11 영어 문장 모음 They provide pragmatic and wise advice.Reverence means to respect and honour the Load as GOD.The devil goaded Jesus by quoting Psalm 91.to embark on a programme of unscrupulous manipulation.Deuteronomy.There is a nobility and dignity about all human life.Don't disqualify yourself. 공감수 1 댓글수 0 2025. 1. 12.
2025/01/10 영어 문장 모음 The first sentence orients the reader by introducing the broader field in which the particular research is situated.This is typically done by recapitulating the results, discussing the limitations, and then revealing how the central contribution may catalyze future progress.We had to gloss over many finer points of writing, including word choice and grammar, the creativeprocess, and collaboratio.. 공감수 2 댓글수 0 2025. 1. 10.
2025/01/09 영어 문장 모음 Published papers that seem to refute your hypothesis or data are not etched in stone.The “For Authors” section of a website will have some nitty-gritty information.actors such as limitations of a methodology and other limits to generalizability (selection bias, unaddressed, or unappreciated confounders)A newcomer to the field should get a crash course in the field from this section.Essential dat.. 공감수 1 댓글수 1 2025. 1. 9.
[AWS] python으로 s3에 있는 parquet 파일 읽기 목적S3에 저장해놓은 parquet 파일을 AWS ec2 등의 서버가 아닌 개인 컴퓨터에서 쉽게 읽고싶다.aws configure로 계정정보(access key, secret key)를 저장하는 것이 아닌 코드에서 계정정보를 관리하고싶다.필자는 pyarrow, s3fs가 동작하지 않아 빠르게 이용할 수 있는 다른 방법을 찾고 싶었다.코드import boto3import ioimport pandas as pd...s3_config = { "aws_access_key_id": "{ACCESS KEY}", "aws_secret_access_key": "{SECRET KEY}", "region_name": "{MY REGION}"}...def pd_read_s3_parquet(key, bucke.. 공감수 0 댓글수 0 2022. 2. 3.
[Hadoop] HDFS에서 S3로 Distcp 목적 on-premise hdfs에서 s3로 데이터 올릴 때 get, put으로 데이터를 올리는 과정이 번거롭다 방법 hadoop distcp -Dfs.s3a.access.key=$AWS_ACCESS_KEY -Dfs.s3a.secret.key=$AWS_SECRET_KEY -Dfs.s3a.endpoint=$AWS_END_POINT $HDFS_SOURCE_PATH s3a://$S3_DEST_PATH fs.s3a.endpoint의 경우 AWS 서비스 엔드포인트를 참고 (ex. s3.ap-northeast-2.amazonaws.com) 공감수 0 댓글수 0 2022. 1. 17.
[Spark] json->parquet 저장시 특수문자 해결 목적 parquet의 경우, attribute name에 " ,;{}()\n\t=" 문자가 들어가면 rename을 시켜주어야한다. 에러메시지는 아래와 같다. 'Attribute name "my column" contains invalid character(s) among " ,;{}()\\n\\t=". Please use alias to rename it.;' ... pyspark.sql.utils.AnalysisException: 'Attribute name "some-ar ray" contains invalid character(s) among " ,;{}()\\n\\t=". Please use alias to rename it.;' json을 parquet로 저장 시 key값에 해당 문자들이 들어.. 공감수 0 댓글수 0 2021. 10. 7.
[Spark] json -> parquet로 저장시 스키마 충돌 문제 해결 목적 json으로 저장된 파일을 partition을 추가하여 parquet로 저장하려한다. 이때, json 내에 빈 array가 있을 경우 inferSchema로 인해 array(string)의 스키마로 표현된다. 이 경우 다른 파일에서 array내에 struct 등의 다른 값이 들어올 경우 에러가 발생한다. pre-defined된 schema가 있다면 좋겠으나 필자의 경우는 그렇지 못하였다. 필자에게 발생한 에러메시지는 아래와 같다. java.lang.ClassCastException: optional binary element (UTF8) is not a group at org.apache.parquet.schema.Type.asGroupType(Type.java:207) at org.apache.s.. 공감수 0 댓글수 0 2021. 10. 6.
[Postgresql] 테이블 DDL 확인하기 목적 Postgresql에는 show create 문이 존재하지 않는다. ddl을 확인하는 방법을 알아보자. 과정 postgresql에서는 ddl을 확인하기위해 pg_dump를 이용해야 한다. 아래의 커맨드를 입력하여 ddl을 확인한다. pg_dump -h ${hostname} -U ${username} -t '${schemaname}.${tablename}' --schema-only ${dbname} 더 필요한 옵션이 있다면 pg_dump --help를 입력하여 옵션을 확인한다. 공감수 0 댓글수 0 2021. 9. 14.
[Postgresql] Postgresql13 rpm으로 설치 목적 필자의 경우 yum으로 설치한 postgre는 remote와 버전이 맞지 않아 pg_dump등의 작업이 가능하지 않았다. 로컬 테스트 환경도 만들겸 겸사겸사 postgresql 13.3 버전을 설치하고자 한다. 과정 필자의 경우 13.3버전을 설치하여야 했다. Postgresql의 다운로드 사이트에 들어가 원하는 os를 선택한다. 필자의 경우는 linux기반의 설치를 해야했기에 linux >> Red Hat / Rocky/CentOS를 선택했다. 필자는 yum으로 설치가 안되어 최하단의 Direct RPM download를 이용하였다. 붉은 "direct download"를 선택하자. 다음 화면에서 POSTGRESQL13 >> RHEL/CentOS/Oracle Linux 7 - x86_64를 선택했.. 공감수 0 댓글수 0 2021. 8. 27.
[Spark] JSON string 파싱하기 목적 spark에서 json data source를 이용할 경우 json이 newline으로 구분되어있어야 json이 제대로 인식된다. 필자가 이용하는 데이터의 경우 아래와 같이 newline이 제대로 입력되어있지 않았다. {"a":"b"}{"a":"c"}{"a":"d"}{"b":"e"}... 이럴 때에 써먹을만한 간단한 파이썬 함수를 기록한다. 내용 import re import json def json_splitter(input_json): r = re.split('(\{.*?\})(?= *\{)', input_json) accumulator = '' res = [] for subs in r: accumulator += subs try: json_dict = json.loads(accumulator).. 공감수 0 댓글수 0 2021. 8. 26.
[Gradle]Could not create service of type ChecksumService using BuildSessionScopeServices.createChecksumService(). 발생 Gradle 빌드 시 아래와 같은 에러 메시지가 발생하였다. Gradle could not start your build. \> Could not create service of type ChecksumService using BuildSessionScopeServices.createChecksumService(). > Cannot lock checksums cache \*\* as it has already been locked by this process. 해결법 같은 서버에 여러 개의 gradle daemon이 동작하여서 발생한 문제일 수 있다. 따라서 ps -ef | grep gradle 커맨드를 이용, gradle 프로세스들을 kill을 이용해 죽인 후 다시 시도해본다. 공감수 0 댓글수 0 2021. 8. 25.
[Postgresql] 설치 목적 postgresql및 해당하는 cli를 이용하기위해 postgre를 설치한다. 과정 필자는 aws ec2 환경에서 진행하였다. linux 기반의 yum을 이용할 수 있는 환경에서는 모두 이용가능할 것으로 보인다. postgresql의 설치과정은 아래와 같이 진행하였다. # postgresql 및 그에 필요한 환경들 설치 sudo yum install -y postgresql postgresql-server postgresql-devel postgresql-contrib postgresql-docs # postgresql이 동작하도록 설정 sudo service postgresql initdb sudo systemctl start postgresql sudo systemctl enable postgr.. 공감수 0 댓글수 0 2021. 8. 24.
[AWS] Python으로 S3 Object(디렉터리 혹은 파일) 아래 파일 확인 목적 바로 아래 depth의 디렉터리의 목록을 뽑아낸다. 예를들어 아래와 같은 구조가 있다고 할 때에, /a/b2를 파라미터로 넣으면 [a/b2/c1, a/b2/c2]의 결과를 얻고싶다. s3://bucket/a/b1/c1/d1 s3://bucket/a/b1/c1/d2 s3://bucket/a/b1/c2/d1 s3://bucket/a/b1/c3/d1 s3://bucket/a/b1/c4/d1 s3://bucket/a/b2/c1/d1 s3://bucket/a/b2/c2/d2 s3://bucket/a/b3/c2/d1 s3://bucket/a/b4/c3/d1 s3://bucket/a/b5/c1/d1 과정 from boto3 import client ... s3_client = client('s3') bucket.. 공감수 1 댓글수 0 2021. 8. 3.
[AWS] Python으로 S3 Object(디렉터리 혹은 파일)의 용량 확인 목적 AWS를 이용 시 S3내의 Object(S3에는 디렉터리의 개념이 없음)의 용량을 확인해야하는 경우가 있음 python boto3를 이용해 S3에 존재하는 Object의 용량을 확인해보자 과정 다음의 코드를 작성하여 사이즈를 가져올 수 있었다. get_directory_size_bytes를 이용하며 해당 메서드의 결과값은 byte 단위이므로 이용 시 유의하여야한다. from boto3 import client def remove_prefix(text, prefix): if text.startswith(prefix): return text[len(prefix):] return text def get_directory_size_bytes(s3Url): s3_client = client('s3') buc.. 공감수 0 댓글수 0 2021. 7. 8.
[Spring Boot] 특정 profile에서만 테스트 동작 시키기 목적 코딩을 하는 환경과 실제 프로그램이 동작하는 환경이 다른 경우가 대다수이다. 이 경우 통합 테스트 등을 진행하거나 모듈 테스트를 진행할 시에 로컬에서는 동작하나 리얼 혹은 알파에서는 동작하지 않도록 하고싶은 경우가 존재한다. 이러한 경우에 이용할 수 있는 방법을 공유한다. 필자는 spring boot 2.4.4에서 테스트를 진행하였으며 JUnit5에서 적용가능하다. 방법 해당 요건을 만족시키기 위해 필자는 @EnabledIfEnvironmentVariable를 이용할 것이다. 해당 annotation 이외에도 @DisabledIfEnvironmentVariable, @Enabled, @Disabled 등의 annotation을 이용할 수 있다. annotation 명에서 알 수 있다시피 필자가 사용.. 공감수 0 댓글수 0 2021. 4. 27.
[Ubuntu] git gui툴인 gitkraken설치 목적 필자는 맥에서 git gui툴인 fork를 이용하고 있다. 우분투에서도 이와 비슷한 git gui툴을 이용하고 싶다. 하지만 우분투(linux)에서는 fork, source tree는 물론 github desktop도 지원하지 않는다. 쓸만한 git gui툴을 찾던 중 gitkraken을 발견, 설치한다. 방법 gitkraken 사이트에 접속한다. 검색을 하여도 좋고, 사진의 주소를 입력하여 들어가도 좋다. 들어가서 tar.gz파일을 다운로드한다. 파일을 다운로드하면 아래와 같이 다운로드가 진행된다. 풀기 버튼을 이용해 압축을 해제한다. 파일 압축을 푼 디렉터리에 들어가 gitkraken파일을 사진과 같이 실행시킨다. 계정연동을 진행한다. 필자는 github계정을 이용하였고 google계정을 이용하.. 공감수 1 댓글수 0 2021. 3. 16.
[Ubuntu] multiple workspaces and dual monitor 목적 우분투의 기본 설정으로는 멀티 모니터 이용시 하나의 디스플레이에서만 워크스페이스 여러 개 이용할 수 있다. 여러 모니터에서 여러 개의 워크스페이스를 이용하자. 사진에서 왼쪽 화면은 여러개의 워크스페이스를 이용할 수 없다. 해결과정 다음의 커맨드를 입력하여 gnome-tweaks를 다운로드한다. $ sudo apt install gnome-tweaks 다음의 커맨드를 입력하여 gnome-tweaks를 실행한다. $ gnome-tweaks 아래의 화면이 나오면 작업공간(workspace)에 들어가 "여러 디스플레이로 작업 공간 확장"을 선택한다. ctrl + alt + 위, 아래 화살표를 하면 양쪽의 작업공간이 전환된다. 문제점 각 화면이 따로 전환되지는 않고, 두 화면이 동시에 전환된다. 참고 htt.. 공감수 0 댓글수 0 2020. 12. 22.
[Ubuntu] pyqt5 및 qtdesigner 설치 목적 pyqt5 및 qt designer 등을 설치한다. 과정 terminal에서 다음의 커맨드들을 입력한다. $ pip3 install pyqt5 $ sudo apt install python3-pyqt5 $ sudo apt install pyqt5-dev-tools $ sudo apt install qttools5-dev-tools 다음의 커맨드를 입력하여 qt desinger가 설치되어있는지 확인한다. $ designer 커맨드 입력시 qt desinger화면이 나온다. 참고 https://gist.github.com/ujjwal96/1dcd57542bdaf3c9d1b0dd526ccd44ff 공감수 0 댓글수 0 2020. 12. 21.
카테고리 내용 MACHINE LEARNING 기계학습(오일석 지음, 한빛아카데미)를 공부하며 정리가 필요하다고 느낀 부분들에 대해 기록하려고 한다. 공감수 0 댓글수 0 2020. 11. 30.
[CentOS7] sasl/saslwrapper.h:22:23: fatal error: sasl/sasl.h: No such file or directory 상황 cent os 7.4 이용 python3.6에서 sasl 패키지를 pip을 이용해서 설치할 때에 다음의 에러 메시지가 발생한다. In file included from sasl/saslwrapper.cpp:254:0: sasl/saslwrapper.h:22:23: fatal error: sasl/sasl.h: No such file or directory #include ^ compilation terminated. error: command 'gcc' failed with exit status 1 해결방안 yum을 이용하여 다음의 패키지를 설치한다. $ sudo yum install cyrus-sasl-devel 공감수 0 댓글수 0 2020. 10. 14.
[CentOS7] gcc: error trying to exec 'cc1plus': execvp: No such file or directory 상황 cent os 7.4 이용 python3.6에서 sasl 패키지를 pip을 이용해서 설치할 때에 다음의 에러메시지가 발생한다. gcc: error trying to exec 'cc1plus': execvp: No such file or directory error: command 'gcc' failed with exit status 1해결방안 다음의 커맨드를 입력하여 패키지를 설치하여 build-time dependency를 충족시킨다. $ sudo yum install gcc-c++ 공감수 0 댓글수 0 2020. 10. 14.
[CentOS7] Python 3.6 설치 (yum) 목적 파이썬 3.6을 설치한다. 과정 yum 저장소에서 파이썬 최신버전을 제공하지 않기 때문에 다음과 같이 ius repositroy를 추가해준다. sudo yum install -y https://repo.ius.io/ius-release-el7.rpm 다음의 커맨드를 입력하여 파이썬 3.6 및 파이썬 관리용 패키지를 설치한다. sudo yum install -y python36u python36u-devel python36u-libs python36u-pip 다음의 커맨드를 입력하여 파이썬이 설치되었는지 확인한다. python3 --version 공감수 0 댓글수 0 2020. 10. 13.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.