양술사의 쉬운 IT

기술통계​

- 데이터 분석 목적으로 수집된 데이터를 확률/통계적 정리/요약하는 기초적 통계

​

회귀 분석 모형​

- 단순 회귀 : 독립변수과 종속변수 1개씩, 모두 수치형

- 다중 회귀 : 2개 이상 독립변수이고 수치형/범주형, 1개 수치형은 종속변수

​

회귀 분석 모형의 적합성 ​

- 회귀식의 통계적 유의성 평가 : 분산 분석표

- 모형이 잘 설명하는지 확인 : 결정계수

- 전제조건 [등선정독비] : 등분산성, 선형성, 정규성(정상성), 독립성, 비상관성 => 잔차 그래프로 확인

​

회귀모델의 독립변수 선택방법​

- 전진 선택법 : 종속변수에 큰 영향 주는것부터 하나씩 독립변수로 만듦

- 후진 제거법 : 모든 독립변수부터 시작해서, 중요하지 않은 독립변수값은 차례대로 제거

- 단계적 방법 : 주로 사용, 전진 선택법+후진 제거법 절충안

​

분산 분석(ANOVA)​

- 2개 이상 집단 비교 시에 집단내 분산, 총 평균과 각 집단의 평균 차이에 의해 생긴 집단간 분산 비교로 얻은 F분포 이용해 가설검정

- F 검정 통계량 : 집단 내 분산 대비 집단간 분산이 몇개 더 큰지를 나타내는 값

​

분산 분석 종류​

- 일원분산 분석 : 독립/종속변수 1개씩

- 이원분산 분석 : 독립변수 2개, 종속변수 1개

- 다변량 분산 분석 : 종속변수 2개 이상

​

주성분 분석​

- 기존 변수의 분산/공분산 패턴을 축약한 주성분 변수를 원래 변수의 선형결합으로 추출하는 통계기법

​

판별 분석​

- 집단을 구별할 수 있는 판별규칙 만들어, 새로운 개체가 어느 집단인지 탐색하는 통계기법

​

표본 추출 기법 [단계층군]​

- 단순 무작위 추출 : 규칙없이 표본 추출

- 계통 추출 : 일정 간격으로 추출 ex)끝자리가 7인 사람

- 층화 추출 : 계층 나누고, 계층별 무작위 추출 ex) 지역을 도로 나누고, 도에서 무작위 추출

- 군집 추출 : 군집 나누고 추출

​

데이터 척도​

- 질적 속성 : 명목 척도, 순서 척도

- 양적 속성 : 구간(등간) 척도, 비율 척도

​

이산확률분포 종류 [포베이]​

- 포아송 분포 : 주어진 시간/영역에서 어떤 사건 발생횟수를 나타내는 확률분포

- 베르누이 분포 : 실험결과가 성공 또는 실패 중 하나를 얻는 확률분포

- 이항분포 : n번 시행 중에 k번 성공할 확률분포

​

연속확률분포 종류 [카표준TF] ; 카~표정이 맞거나 틀리거나

- 카이제곱 분포

- 표준정규분포(z-분포)

- 정규분포

- T 분포 : 정규분포 평균 해석에 많이 사용

- F 분포

데이터 전처리(data preprocessing) 절차

- 데이터 정제 > 결측치 처리 > 이상값 처리 > 분석변수 처리

​

데이터 정제(data cleansing) 절차

- 결측값을 채우거나 이상값 제거 : 신뢰도 향상

- 데이터 오류 원인 분석 > 데이터 정제 대상 선정 > 데이터 정체 방법 결정

​

데이터 오류원인 [결노이]

- 결측값 : 입력 누락

- 노이즈 : 입력되었다고 잘못 판단한 값

- 이상값 : 데이터 범위에서 벗어난 값

​

데이터 정제 방법

- 삭제 : 오류 데이터 삭제, 부분 삭제

- 대체 : 평균/최빈/중앙값으로 대체

- 예측값 삽입 : 회귀 예측등으로 삽입

​

데이터 일관성 유지위한 정제 방법

- 변환 : 남/여 → M/F

- 파싱 : 주민번호에서 생년월일, 성별로 분할

- 보강(enhancement) : 주민번호에서 성별 추출 후, 추가 정보 반영

​

데이터 세분화

- 이질적인 집단을 몇 개의 동적 소집단으로 분할

- 계층적 방법 : 사전에 군집 안정함, 응집분석법/분할분석법

- 비계층적 방법 : 사전에 군집 정함, k-means/ANN

​

데이터 결측값 종류 [완무비]

- 완전 무작위 결측(MCAR) : 소득 데이터 누락 > 응답자와 무응답자간의 차이가 없음

- 무작위 결측(MAR) : 우울증 정도의 데이터 누락 > 남성이 기재할 확률 낮음, 우울 정도와는 무관

- 비 무작위 결측(MNAR) : 소득 데이터 누락 > 세금을 이유로, 높은 소득인 사람이 무응답률 높음

​

데이터 결측값 처리 절차

- 결측값 식별 > 결측값 부호화(NA, NaN, inf, NULL) > 결측값 대체

​

결측값 처리 방법​

- 단순 대치법 [완평단]​

. 완전 분석법

. 평균 대치법 : 비조건부 평균대치법, 조거부 평균대치법

. 단순 확률 대치법 : 핫덱 대체, 콜드덱 대체, 혼합 방법

- 다중 대치법 : m번 대치를 통해 m개의 가상적 완전한 자료 만듦, 대치 > 분석 > 결합 단계로 구성

​

데이터 이상값 발생 원인

- 데이터 입력 오류

- 측정 오류

- 실험 오류

- 고의적 이상값

- 표본추출 에러

​

데이터 이상값 검출 방법

- 개별 데이터 관찰

- 통계값 : ESD(평균에서 3 표준편차 떨어진 값), 기하평균, 사분위수, 표준화점수(z-score), 딕슨의 Q검정, 그럽스 T검정, 카이제곱 검정, 통계적 가설검정

- 시각화 [확히시] : 확률밀도함수, 히스토그램, 시계열 차트

- 머신러닝 기법 : k-means

- 마할라노비스 거리 : 데이터 분포 고려한 거리 측도

- LOF(local outlier factor) :밀도의 상대적 비교

- iForest : 의사결정나무 이용, 적은 횟수로 잎 노드에 도달하면 이상치 가능성 높음

​

데이터 이상값 처리​

- 삭제

- 대체법

- 변환

- 박스플롯 : 사분위수

- 분류하여 처리

​

변수 유형​

- 인과관계 : 독립변수 -> 종속변수

- 범주형 : 명목형, 순서형

- 수치형 : 연속형, 이산형

​

변수 선택 기법 [필래임]​

- 필터 기법 : 통계적 특성, 고속, 변수간 상관관계 찾기, 정보소득/카이제곱 검정/피셔 스코어/상관계수

- 래퍼 기법 : 가장 좋은 성능을 보이는 하위집합을 반복해서 선택/테스트, 그리디, 느림, 과적합 위험 존재, 예측 정확도 높음, RFE/SFS/유전자 알고리즘/단변량 선택/mRMR

- 임베디드 기법 : 모델의 정확도에 기여하는 변수 찾기, 라쏘(L1, 절대값 합을 최소화)/릿지(L2, 제곱합 최소화)/엘라스틱 넷(L1+L2 선형결합), SelectFromModel(의사결정나무 기반)

​

차원 축소​

- 비지도 학습, 변수들 정보 유지하면서 변수의 개수를 줄이는기법

- 주성분 분석(PCA), 특이값 분해(SVD), 요인 분석, 독립성분분석(ICA), 다차원 척도법(MDS)

​

파생변수​

- 기존 변수 사용해 새롭게 정의한 변수

- 방법 : 단위변환, 표현형식 변환, 요약통계량 변환, 변수 결합

​

변수 변환​

- 불필요한 변수 제거/반환해서 새로운 변수 생성

- 단순기능 변환(로그 변환,루트 변환), 비닝(binning), 정규화, 표준화

​

불균형 데이터 처리​

- 언더 샘플링 : 다수 클래스 데이터를 일부만 선택해 데이터 비율을 맞추는 것, 데이터 소실 큼, ENN/OSS/CNN/토멕링크

- 오버 샘플링 : 소스 클래스의 데이터를 복제/생성해서 데이터 비율을 맞추는 것, 과적합, SMOTE/ADASYN

- 임계값 이동 : 임계값을 데이터가 많은 쪽으로 이동

- 앙상블 이동 : 다양한 모형의 예측/분류 결과를 종합해 최종 의사결정에 활용

데이터 수집 프로세스

1. 필요한 수집 데이터 도출

2. 데이터 목록 작성

3. 데이터 소유기관 파악 및 협의

4. 데이터 유형 분류 및 확인

5. 수집 기술 선정

6. 수집 계획서 작성

7. 수집 주기 결정

8. 데이터 수집 실행

​

정형 데이터 수집 방식/기술

- ETL : 추출 > 변환 > 적재 => DW, DM

- FTP : TCP/IP 기반, active/passive FTP

- DB to DB : DB간 동기화

- Rsync : 파일과 디렉토리 동기화

- 스쿱 : RDBMS에서 하둡으로 데이터 전송, 전송 병렬화, 프로그래밍 방식의 인터렉션, 벌크 임포트

​

반정형 데이터 수집 방식/기술

- 센싱

- 스트리밍

- 플럼 : pub/sub 구조, pull 방식, 파일기반 저장방식, 소스/채널/싱크로 구성

- 스크라이브

- 척와 : 분산된 서버의 에이전트 실행 > 컬렉터가 데이터 수집 > 싱크는 임시저장 역할, 청크 단위 전송

​

비정형 데이터 수집 방식/기술

- 크롤링

- RSS : 새로 게시된 글 공유, XML 기반

- Open API : 실시간 데이터 송수신

- 스크래파이(scrapy) : 파이썬 기반

- 아파치 카프카 : 대용량 실시간 로그 처리, 스트리밍 플랫폼, 생상자/소비자/카프카 클러스터

​

데이터 속성

- 범주형(질적 변수) : 명목형, 순서형

- 수치형(양적 변수) : 연속형, 이산형

​

데이터 측정 척도 [명순구비]

- 명목 척도 : 값은 의미만 가짐, 혈액형

- 순위 척도(서열 척도) : 값이 서열을 의미, 맛집 평점

- 구간 척도(등간/간격/거리 척도) : 동일 간격으로 차이 비교, 미세먼지 수치

- 비율 척도 : 절대 영점 있음, 순서와 의미가 모두 있음, 나이/키

​

데이터 변환 기술

- 평활화 : 잡음을 제거를 위한 이상값 제거, 데이터를 매끄럽게 변환

- 집계 : 그룹 연산 수행

- 일반화 : 스케일링, 범용적 데이터로 변환

- 정규화 : 정해진 구간내로 변환 (최소-최대 정규화, z-스코어 정규화, 소수점 정규화)

- 속성 생성 : 속성이나 특성을 이용해 일반화

​

데이터 비식별화 처리 기법 [가총범삭마]

- 가명처리 : 휴리스틱 익명화, K-익명화, 암호화, 교환(swaping)

- 총계처리 : 단순집계, 부분집계, 라운딩(올림,내림), 데이터 재배열

- 범주화 : 단순평균, 랜덤 올림/절사, 분포/구간 표현 등

- 삭제 : 속성값 삭제, 데이터 행 삭제 등

- 마스킹 : 임의 잡음값 추가, 공백/대체

​

데이터 품질 특성

- 유효성 ​[일정]

> 일관성 [일정무] : 일치성, 정합성, 무결성

> 정확성 [필연적사정] : 필수성, 연관성, 적합성, 사실성, 정확성

- 활용성 [유접적보]

> 유용성 : 충분성, 유연성 사용성, 추적성

> 접근성

> 적시성

> 보안성

​

데이터 변환후 품질 검증 프로세스

- 빅데이터 수집 > 메타 데이터 수집 > 메타 데이터 분석 > 데이터 속성 분석

​

빅데이터 적재 소프트웨어 아키텍처 정의

- 수집 : 크롤러, ETL, 연계/수집 플랫폼

- 적재 및 저장 : 데이터 구성 플랫폼, RDB, NoSQL, Object 스토리지, 빅데이터 자원관리

- 분석 : 빅데이터 분석 모델, 분석 플랫폼

- 활용 : 데이터 시각화, 데이터 활용 플랫폼, Open API 서비스

​

데이터 적재 도구

- Fluentd, 플럼, 스크라이브, 로그스태쉬(logstash)

​

데이터 저장 기술

- 분산 파일 시스템, 데이터베이스 클러스터, NoSQL, 병렬 DBMS, 네트워크 구성 저장 시스템, 클라우드 파일 저장 시스템

​

구글 파일 시스템(GFS)

- 파일을 청크단위(64MB) 나눠, 여러 복제본을 청크서버에 분산/저장

- 클라이언트(posix 미지원), 마스터, 청크 서버로 구성

- 클라이언트가 GFS 마스터에 파일 요청 > 마스터는 청크의 매핑정보 찾아서 해당 청크 서버에 전송 요청 > 해당 청크 서버는 클라이언트에서 청크 데이터 전송

​

하둡 분산 파일 시스템(HDFS)

- 블록 구조의 파일시스템

- 1개 네임노드 : 메타데이터 관리, 마스터 역할, 데이트 노드로 하트비트 받아 노드상태/블록상태 체크

- 1개 이상 보조 네임노드 : HDFS 상태 모니터링, 네임노드의 주기적 스냅샷

- N개 데이터 노드 : 슬레이브 노드, 데이터 입출력 처리, 3중 복제 저장

​

러스터

- 객체 기반 클러스터 파일 시스템

- 계층화된 tcp/ip, 인피니밴드 지원

- 클라이언트 파일 시스템(고속 네트워크 연결), 메타데이터 서버, 객체 저장 서버로 구성

​

데이터베이스 클러스터

- 공유 디스크 클러스터(ex.RAC), 무공유 클러스터(ex. galera)

​

NoSQL

- schemaless, 조인연산 x, 수평적 확장 가능, BASE, CAP 이론에서 2개 속성만 만족

- Key-value(redis, dynamoDB), Column Family(cassandra, HBase), Document(mongdb, couchbase), Graph(neo4j, allegroGraph)

​

BASE

- Basically Available : 언제든 데이터 접근 가능, 분산 시스템이라 가용성 의미

- Soft state : 특정 시점에 일시적 일관성 미보장, 외부 전송된 정보로 노드상태 결정

- Eventaully consistency : 결국 일관성을 마춰짐

​

CAP 이론

- Consistency(일관성), Availability(가용성), Partition Tolerance(분산 가능) 에서 2가지만 만족

- C + A => RDBMS

- A + P => NoSQL

- C + P => NoSQL