Sun 의 공부 블로그

목적 우분투 듀얼부팅 적용 1편을 이어서 작성한다. 과정 로딩을 기다리면 후에 언어 설정화면이 나온다. 좌측에서 원하는 언어를 설정한다. 필자는 한국어를 선택하였다. 그 후 Ubuntu 설치 버튼을 클릭한다. 필자는 한국어를 선택하였기에 다음 사진과 같이 설정하였다. 만약 다른 언어를 이용한다면 다르게 설정하면 된다. 무선 인터넷 연결이 가능하다면 무선인터넷을 연결해 준다. 가능하지 않다면 "지금은 무선 네트워크에 연결하지 않습니다."를 선택한다. 업데이트 및 기타 소프트웨어 설치 탭에서는 다음 사진과 같이 설정 후 "계속하기" 버튼으로 넘어갔다. 필요하다면 다른 설정을 이용한다. 필자는 듀얼부팅이 목적이기에 기타 옵션을 선택하였다. 혹여 원도우 os를 밀어버리고 우분투를 이용하고 싶다면 다른 옵션을 선..

목적 현재 이용 중인 컴퓨터는 window 10을 이용하는 노트북이다. 이 노트북에 Ubuntu를 설치하여 듀얼부팅을 할 수 있도록 한다. 현재 이용중인 노트북의 용량은 ssd 256GB이며, 용량이 부족하여 512GB의 새 ssd를 추가하여 설치한다. 과정 우분투 부팅디스크 만들기를 참고하여 우분투 usb 부팅디스크를 만든다. 필자는 레노버 ThinkPad 노트북을 이용하며, 이는 하판의 일부만을 뜯어 쉽게 ssd를 적용 할 수 있다. ssd 적용법은 유튜브를 확인하는 것이 더 정확할 것 같다. ssd 설치 시 배터리와 전원 케이블을 꼭 제거하고 교체하는 것만 유념하면 될 것 같다. 이제 윈도우를 부팅 후 우분투 usb 부팅디스크를 연결한다. 바이오스를 켜야한다. 화면 왼쪽 하단의 윈도우 아이콘에서 마..

목적 Ubuntu 설치용 부팅디스크를 만든다. 필자는 듀얼 부팅을 위해 만들려고 하기에 그에 따른 설명을 추가한다. 과정 usb를 컴퓨터에 꽂는다. https://ubuntu.com/에 접속하여 ubuntu iso파일을 설치한다. 설치 과정은 하단의 사진을 참고한다. 1, 2의 버튼을 누르면 후원 페이지가 나오는데, 조금만 기다리면 iso파일이 다운로드 된다. 후원은 본인의 판단에 맡긴다. https://rufus.ie/에 접속하여 rufus를 다운로드 한다. 설치는 하단의 사진을 참고한다. 포터블 버전 이용 시 별도의 설치가 필요하지 않아 필자는 포터블 버전을 이용하였다. 설치한 rufus를 실행하면 다음과 같다. 우선 장치에서 부팅디스크로 만들 usb를 선택한다. 필자는 usb를 하나만 연결하여 하단..

상황 특수문자가 들어간 다음과 같은 경로는 일반적인 hdfs dfs -rm -r ...을 이용 시 파일 삭제는 되지 않고 휴지통에 파일 복제만 진행된다. 예시) 다음의 디렉토리가 존재한다. \$ drwx------ - hdfs supergroup 0 2020-06-09 20:00 /my_root/sub_dir/2020** 다음의 명령을 입력 시 디렉토리 내용이 휴지통에 정상적으로 들어가나 기존의 디렉토리에도 데이터가 남아있었다.\$ hdfs dfs -rm -r /my_root/sub_dir/2020** 해결 과정 별표(asterisk)가 특수문자이기에 발생한 문제이다. escape 문자를 이용하여 디렉토리를 삭제한다. 다음의 명령을 입력 시에도 데이터가 정상적으로 삭제되지 않았다.\$ hdfs dfs -..

상황 Distcp시에 IOException이 발생하며 다음과 같은 에러메시지가 나온다. Error: java.io.IOException: File copy failed: ... Caused by: java.io.IOException: Couldn't run retriable-command: ... Caused by: java.io.IOException: Check-sum mismatch between ... Source and target differ in block-size. Use -pb to preserve block-sizes during copy. Alternatively, skip checksum-checks altogether, using -skipCrc. (NOTE: By skipp..

상황 spark-submit시(master=yarn, deploy-mode=cluster) parameter를 한글로 주는 경우 한글이 깨지는 현상이 발생한다. -Dfile.encoding=utf-8의 옵션을 driver, executor에 적용 시 UnicodeEncodeError가 발생한다. 해결 과정 spark 내에서 환경변수를 확인 시 'LANG': 'ko_KR.eucKR'와 같은 결과를 확인하였다. utf-8 인코딩이 적용되지 않아 한글이 깨진 것으로 보였다. yarn을 이용할 경우 spark.yarn.appMasterEnv.[EnvironmentVariableName] 옵션을 이용하여 환경변수를 설정 할 수 있다. appMasterEnv 옵션을 이용하여 환경변수 L..

상황 ERROR 1366 (HY000) : incorrect string value : '\xED\x95\x9C\xEA\xB2\x8C...' for column 등과 같은 에러메시지를 보여준다. 이유 Mysql 데이터베이스가 latin1 문자열을 이용하기에 받아들이지 못하는 문자열이 있어 입력 오류가 발생한다. 해결방안 Mysql 기본 charset 변경 MySQL my.cnf 파일찾기을 참고하여 my.cnf 파일을 찾는다. my.cnf 파일에 다음을 추가한다. [mysqld] ... collation-server = utf8mb4_unicode_ci character-set-server = utf8mb4 skip-character-set-client-handshake ... mysql을 ..

상황 Airflow를 설치하여 mysql과 연동과정에서 $ airflow initdb 명령 수행 중 제목과 같은 에러가 발생하였다. 발생 이유 및 해결 방안 mysql의 explicit_defaults_for_timestamp가 1이어야 한다. my.cnf 파일찾기(링크)의 방법에 따라 my.cnf 파일의 위치를 확인한다. mysqld 하위의 explicit_defaults_for_timestamp를 1로 설정한다. explicit_defaults_for_timestamp 항목이 존재 하지 않을 경우, mysqld 하위에 explicit_defaults_for_timestamp의 설정을 새로 입력한다. [mysqld] ... explicit_defaults_for_timestamp = 1 ... mysq..

ODBC란? MS사가 만든 DB 접근 소프트웨어 표준 규격. ODBC driver를 위해서는 Driver Manager(iODBC, unix ODBC)를 설치해서 이용 연동 순서 필자는 impala odbc를 연동하였다. 1. iODBC 설치 http://www.iodbc.org/dataspace/doc/iodbc/wiki/iodbcWiki/Downloads에 들어가 Mac OS X용 iODBC를 설치한다. 2020.01.02 기준 Mac OS X용 3.52.12 버전의 mxkozzzz.dmg를 설치하였다. 2. ODBC Manager 설치(옵션) ODBC Manager를 설치하지 않아도 DSN 설정이 가능하나 파일을 찾아다녀야 하는 번거로움이 있다. iODBC Administrator64에 DSN을 설..

상황 mysql Index column size too large the maximum column size is 767 bytes. 와 같은 에러 메시지가 나온다. 인덱스 사이즈가 너무 커서 발생하는 문제이다. 해결방안 MySQL my.cnf 파일 찾기를 참고하여 my.cnf파일을 찾는다. my.cnf 파일의 내용을 다음과 같이 수정한다. [mysqld] ... innodb_file_format=barracuda innodb_large_prefix=on innodb_file_per_table=on ... 추후 테이블을 생성시 ROW_FORMAT=DYNAMIC 를 추가한다. CREATE TABLE `task_fail` ( `id` int(11) NOT NULL AUTO_INCREMENT, `task_id..