양술사의 쉬운 IT

데이터 전처리(data preprocessing) 절차

- 데이터 정제 > 결측치 처리 > 이상값 처리 > 분석변수 처리

​

데이터 정제(data cleansing) 절차

- 결측값을 채우거나 이상값 제거 : 신뢰도 향상

- 데이터 오류 원인 분석 > 데이터 정제 대상 선정 > 데이터 정체 방법 결정

​

데이터 오류원인 [결노이]

- 결측값 : 입력 누락

- 노이즈 : 입력되었다고 잘못 판단한 값

- 이상값 : 데이터 범위에서 벗어난 값

​

데이터 정제 방법

- 삭제 : 오류 데이터 삭제, 부분 삭제

- 대체 : 평균/최빈/중앙값으로 대체

- 예측값 삽입 : 회귀 예측등으로 삽입

​

데이터 일관성 유지위한 정제 방법

- 변환 : 남/여 → M/F

- 파싱 : 주민번호에서 생년월일, 성별로 분할

- 보강(enhancement) : 주민번호에서 성별 추출 후, 추가 정보 반영

​

데이터 세분화

- 이질적인 집단을 몇 개의 동적 소집단으로 분할

- 계층적 방법 : 사전에 군집 안정함, 응집분석법/분할분석법

- 비계층적 방법 : 사전에 군집 정함, k-means/ANN

​

데이터 결측값 종류 [완무비]

- 완전 무작위 결측(MCAR) : 소득 데이터 누락 > 응답자와 무응답자간의 차이가 없음

- 무작위 결측(MAR) : 우울증 정도의 데이터 누락 > 남성이 기재할 확률 낮음, 우울 정도와는 무관

- 비 무작위 결측(MNAR) : 소득 데이터 누락 > 세금을 이유로, 높은 소득인 사람이 무응답률 높음

​

데이터 결측값 처리 절차

- 결측값 식별 > 결측값 부호화(NA, NaN, inf, NULL) > 결측값 대체

​

결측값 처리 방법​

- 단순 대치법 [완평단]​

. 완전 분석법

. 평균 대치법 : 비조건부 평균대치법, 조거부 평균대치법

. 단순 확률 대치법 : 핫덱 대체, 콜드덱 대체, 혼합 방법

- 다중 대치법 : m번 대치를 통해 m개의 가상적 완전한 자료 만듦, 대치 > 분석 > 결합 단계로 구성

​

데이터 이상값 발생 원인

- 데이터 입력 오류

- 측정 오류

- 실험 오류

- 고의적 이상값

- 표본추출 에러

​

데이터 이상값 검출 방법

- 개별 데이터 관찰

- 통계값 : ESD(평균에서 3 표준편차 떨어진 값), 기하평균, 사분위수, 표준화점수(z-score), 딕슨의 Q검정, 그럽스 T검정, 카이제곱 검정, 통계적 가설검정

- 시각화 [확히시] : 확률밀도함수, 히스토그램, 시계열 차트

- 머신러닝 기법 : k-means

- 마할라노비스 거리 : 데이터 분포 고려한 거리 측도

- LOF(local outlier factor) :밀도의 상대적 비교

- iForest : 의사결정나무 이용, 적은 횟수로 잎 노드에 도달하면 이상치 가능성 높음

​

데이터 이상값 처리​

- 삭제

- 대체법

- 변환

- 박스플롯 : 사분위수

- 분류하여 처리

​

변수 유형​

- 인과관계 : 독립변수 -> 종속변수

- 범주형 : 명목형, 순서형

- 수치형 : 연속형, 이산형

​

변수 선택 기법 [필래임]​

- 필터 기법 : 통계적 특성, 고속, 변수간 상관관계 찾기, 정보소득/카이제곱 검정/피셔 스코어/상관계수

- 래퍼 기법 : 가장 좋은 성능을 보이는 하위집합을 반복해서 선택/테스트, 그리디, 느림, 과적합 위험 존재, 예측 정확도 높음, RFE/SFS/유전자 알고리즘/단변량 선택/mRMR

- 임베디드 기법 : 모델의 정확도에 기여하는 변수 찾기, 라쏘(L1, 절대값 합을 최소화)/릿지(L2, 제곱합 최소화)/엘라스틱 넷(L1+L2 선형결합), SelectFromModel(의사결정나무 기반)

​

차원 축소​

- 비지도 학습, 변수들 정보 유지하면서 변수의 개수를 줄이는기법

- 주성분 분석(PCA), 특이값 분해(SVD), 요인 분석, 독립성분분석(ICA), 다차원 척도법(MDS)

​

파생변수​

- 기존 변수 사용해 새롭게 정의한 변수

- 방법 : 단위변환, 표현형식 변환, 요약통계량 변환, 변수 결합

​

변수 변환​

- 불필요한 변수 제거/반환해서 새로운 변수 생성

- 단순기능 변환(로그 변환,루트 변환), 비닝(binning), 정규화, 표준화

​

불균형 데이터 처리​

- 언더 샘플링 : 다수 클래스 데이터를 일부만 선택해 데이터 비율을 맞추는 것, 데이터 소실 큼, ENN/OSS/CNN/토멕링크

- 오버 샘플링 : 소스 클래스의 데이터를 복제/생성해서 데이터 비율을 맞추는 것, 과적합, SMOTE/ADASYN

- 임계값 이동 : 임계값을 데이터가 많은 쪽으로 이동

- 앙상블 이동 : 다양한 모형의 예측/분류 결과를 종합해 최종 의사결정에 활용

데이터 수집 프로세스

1. 필요한 수집 데이터 도출

2. 데이터 목록 작성

3. 데이터 소유기관 파악 및 협의

4. 데이터 유형 분류 및 확인

5. 수집 기술 선정

6. 수집 계획서 작성

7. 수집 주기 결정

8. 데이터 수집 실행

​

정형 데이터 수집 방식/기술

- ETL : 추출 > 변환 > 적재 => DW, DM

- FTP : TCP/IP 기반, active/passive FTP

- DB to DB : DB간 동기화

- Rsync : 파일과 디렉토리 동기화

- 스쿱 : RDBMS에서 하둡으로 데이터 전송, 전송 병렬화, 프로그래밍 방식의 인터렉션, 벌크 임포트

​

반정형 데이터 수집 방식/기술

- 센싱

- 스트리밍

- 플럼 : pub/sub 구조, pull 방식, 파일기반 저장방식, 소스/채널/싱크로 구성

- 스크라이브

- 척와 : 분산된 서버의 에이전트 실행 > 컬렉터가 데이터 수집 > 싱크는 임시저장 역할, 청크 단위 전송

​

비정형 데이터 수집 방식/기술

- 크롤링

- RSS : 새로 게시된 글 공유, XML 기반

- Open API : 실시간 데이터 송수신

- 스크래파이(scrapy) : 파이썬 기반

- 아파치 카프카 : 대용량 실시간 로그 처리, 스트리밍 플랫폼, 생상자/소비자/카프카 클러스터

​

데이터 속성

- 범주형(질적 변수) : 명목형, 순서형

- 수치형(양적 변수) : 연속형, 이산형

​

데이터 측정 척도 [명순구비]

- 명목 척도 : 값은 의미만 가짐, 혈액형

- 순위 척도(서열 척도) : 값이 서열을 의미, 맛집 평점

- 구간 척도(등간/간격/거리 척도) : 동일 간격으로 차이 비교, 미세먼지 수치

- 비율 척도 : 절대 영점 있음, 순서와 의미가 모두 있음, 나이/키

​

데이터 변환 기술

- 평활화 : 잡음을 제거를 위한 이상값 제거, 데이터를 매끄럽게 변환

- 집계 : 그룹 연산 수행

- 일반화 : 스케일링, 범용적 데이터로 변환

- 정규화 : 정해진 구간내로 변환 (최소-최대 정규화, z-스코어 정규화, 소수점 정규화)

- 속성 생성 : 속성이나 특성을 이용해 일반화

​

데이터 비식별화 처리 기법 [가총범삭마]

- 가명처리 : 휴리스틱 익명화, K-익명화, 암호화, 교환(swaping)

- 총계처리 : 단순집계, 부분집계, 라운딩(올림,내림), 데이터 재배열

- 범주화 : 단순평균, 랜덤 올림/절사, 분포/구간 표현 등

- 삭제 : 속성값 삭제, 데이터 행 삭제 등

- 마스킹 : 임의 잡음값 추가, 공백/대체

​

데이터 품질 특성

- 유효성 ​[일정]

> 일관성 [일정무] : 일치성, 정합성, 무결성

> 정확성 [필연적사정] : 필수성, 연관성, 적합성, 사실성, 정확성

- 활용성 [유접적보]

> 유용성 : 충분성, 유연성 사용성, 추적성

> 접근성

> 적시성

> 보안성

​

데이터 변환후 품질 검증 프로세스

- 빅데이터 수집 > 메타 데이터 수집 > 메타 데이터 분석 > 데이터 속성 분석

​

빅데이터 적재 소프트웨어 아키텍처 정의

- 수집 : 크롤러, ETL, 연계/수집 플랫폼

- 적재 및 저장 : 데이터 구성 플랫폼, RDB, NoSQL, Object 스토리지, 빅데이터 자원관리

- 분석 : 빅데이터 분석 모델, 분석 플랫폼

- 활용 : 데이터 시각화, 데이터 활용 플랫폼, Open API 서비스

​

데이터 적재 도구

- Fluentd, 플럼, 스크라이브, 로그스태쉬(logstash)

​

데이터 저장 기술

- 분산 파일 시스템, 데이터베이스 클러스터, NoSQL, 병렬 DBMS, 네트워크 구성 저장 시스템, 클라우드 파일 저장 시스템

​

구글 파일 시스템(GFS)

- 파일을 청크단위(64MB) 나눠, 여러 복제본을 청크서버에 분산/저장

- 클라이언트(posix 미지원), 마스터, 청크 서버로 구성

- 클라이언트가 GFS 마스터에 파일 요청 > 마스터는 청크의 매핑정보 찾아서 해당 청크 서버에 전송 요청 > 해당 청크 서버는 클라이언트에서 청크 데이터 전송

​

하둡 분산 파일 시스템(HDFS)

- 블록 구조의 파일시스템

- 1개 네임노드 : 메타데이터 관리, 마스터 역할, 데이트 노드로 하트비트 받아 노드상태/블록상태 체크

- 1개 이상 보조 네임노드 : HDFS 상태 모니터링, 네임노드의 주기적 스냅샷

- N개 데이터 노드 : 슬레이브 노드, 데이터 입출력 처리, 3중 복제 저장

​

러스터

- 객체 기반 클러스터 파일 시스템

- 계층화된 tcp/ip, 인피니밴드 지원

- 클라이언트 파일 시스템(고속 네트워크 연결), 메타데이터 서버, 객체 저장 서버로 구성

​

데이터베이스 클러스터

- 공유 디스크 클러스터(ex.RAC), 무공유 클러스터(ex. galera)

​

NoSQL

- schemaless, 조인연산 x, 수평적 확장 가능, BASE, CAP 이론에서 2개 속성만 만족

- Key-value(redis, dynamoDB), Column Family(cassandra, HBase), Document(mongdb, couchbase), Graph(neo4j, allegroGraph)

​

BASE

- Basically Available : 언제든 데이터 접근 가능, 분산 시스템이라 가용성 의미

- Soft state : 특정 시점에 일시적 일관성 미보장, 외부 전송된 정보로 노드상태 결정

- Eventaully consistency : 결국 일관성을 마춰짐

​

CAP 이론

- Consistency(일관성), Availability(가용성), Partition Tolerance(분산 가능) 에서 2가지만 만족

- C + A => RDBMS

- A + P => NoSQL

- C + P => NoSQL

AWS MFA(Multi Factor Auth.)가 설정된 상태입니다. PC가 바뀌어서 aws console 접속도 안되고, MFA 키값 저장도 안해서 MFA 인증 설정을 할 수 없는 난처한 상황입니다. 그렇지만 EC2 서버 접속은 가능하고, aws configure에 액세스 키와 시크릿 키는 모두 저장된 상태입니다.

​이렇게 난감한 상황에서 바로 MFA 비활성화해서 AWS Console을 로그인하는 방법이 필요합니다. 해결책은 아래에 있습니다.

1. aws configure 확인

 aws ec2 접속한 상태에서 aws 접속 키는 아래와 같이 저장되어 있음을 확인합니다.

ubuntu@ip-100-0-11-89:~$ aws configure list
      Name                    Value             Type    Location
      ----                    -----             ----    --------
   profile                <not set>             None    None
access_key     ****************2Q6Z shared-credentials-file
secret_key     ****************ufYS shared-credentials-file
    region           ap-northeast-2      config-file    ~/.aws/config
ubuntu@ip-100-0-11-89:~$

2. MFA의 SerialNumber 확인

MFA 비활성화 위해 아래 명령어를 사용해서 이전에 설정한 MFA SerialNumber 값을 확인합니다. 즉, arn:aws:iam::061234567890:mfa/manager 값을 별도로 보관합니다.

ubuntu@ip-100-0-11-89:~/temp$ aws iam list-virtual-mfa-devices
{
    "VirtualMFADevices": [
        {
            "SerialNumber": "arn:aws:iam::061234567890:mfa/manager",
            "User": {
                "Path": "/",
                "UserName": "mspmanager",
                "UserId": "ABCDE5QJOOGZE123QABCD",
                "Arn": "arn:aws:iam::061234567890:user/manager",
                "CreateDate": "2022-02-20T11:10:00Z",
                "PasswordLastUsed": "2022-03-25T05:09:39Z"
            },
            "EnableDate": "2022-03-25T00:22:35Z"
        }
    ]
}

3. aws iam deactivate-mfa-device 구문으로 비활성화

aws iam deactivate-mfa-device 구문을 수행하며 바로 MFA가 비활성화된다. 즉시 id/pw 만으로 aws console 로그인이 가능해진다.

- 구문 : aws iam deactivate-mfa-device --user-name [IAM 유저] --serial-number [시리얼넘버]

ubuntu@ip-100-0-11-89:~$ aws iam deactivate-mfa-device --user-name manager --serial-number arn:aws:iam::061234567890:mfa/manager

MFA 활성화가 되면, AWS Console에 접속하여 아이디와 비밀번호 입력만으로 로그인이 되는지 확인합니다. 위 순서대로 차근차근 수행했다면, 다른 오류없이 정상 로그인이 될 것입니다.