양술사의 쉬운 IT

데이터 수집 프로세스

1. 필요한 수집 데이터 도출

2. 데이터 목록 작성

3. 데이터 소유기관 파악 및 협의

4. 데이터 유형 분류 및 확인

5. 수집 기술 선정

6. 수집 계획서 작성

7. 수집 주기 결정

8. 데이터 수집 실행

​

정형 데이터 수집 방식/기술

- ETL : 추출 > 변환 > 적재 => DW, DM

- FTP : TCP/IP 기반, active/passive FTP

- DB to DB : DB간 동기화

- Rsync : 파일과 디렉토리 동기화

- 스쿱 : RDBMS에서 하둡으로 데이터 전송, 전송 병렬화, 프로그래밍 방식의 인터렉션, 벌크 임포트

​

반정형 데이터 수집 방식/기술

- 센싱

- 스트리밍

- 플럼 : pub/sub 구조, pull 방식, 파일기반 저장방식, 소스/채널/싱크로 구성

- 스크라이브

- 척와 : 분산된 서버의 에이전트 실행 > 컬렉터가 데이터 수집 > 싱크는 임시저장 역할, 청크 단위 전송

​

비정형 데이터 수집 방식/기술

- 크롤링

- RSS : 새로 게시된 글 공유, XML 기반

- Open API : 실시간 데이터 송수신

- 스크래파이(scrapy) : 파이썬 기반

- 아파치 카프카 : 대용량 실시간 로그 처리, 스트리밍 플랫폼, 생상자/소비자/카프카 클러스터

​

데이터 속성

- 범주형(질적 변수) : 명목형, 순서형

- 수치형(양적 변수) : 연속형, 이산형

​

데이터 측정 척도 [명순구비]

- 명목 척도 : 값은 의미만 가짐, 혈액형

- 순위 척도(서열 척도) : 값이 서열을 의미, 맛집 평점

- 구간 척도(등간/간격/거리 척도) : 동일 간격으로 차이 비교, 미세먼지 수치

- 비율 척도 : 절대 영점 있음, 순서와 의미가 모두 있음, 나이/키

​

데이터 변환 기술

- 평활화 : 잡음을 제거를 위한 이상값 제거, 데이터를 매끄럽게 변환

- 집계 : 그룹 연산 수행

- 일반화 : 스케일링, 범용적 데이터로 변환

- 정규화 : 정해진 구간내로 변환 (최소-최대 정규화, z-스코어 정규화, 소수점 정규화)

- 속성 생성 : 속성이나 특성을 이용해 일반화

​

데이터 비식별화 처리 기법 [가총범삭마]

- 가명처리 : 휴리스틱 익명화, K-익명화, 암호화, 교환(swaping)

- 총계처리 : 단순집계, 부분집계, 라운딩(올림,내림), 데이터 재배열

- 범주화 : 단순평균, 랜덤 올림/절사, 분포/구간 표현 등

- 삭제 : 속성값 삭제, 데이터 행 삭제 등

- 마스킹 : 임의 잡음값 추가, 공백/대체

​

데이터 품질 특성

- 유효성 ​[일정]

> 일관성 [일정무] : 일치성, 정합성, 무결성

> 정확성 [필연적사정] : 필수성, 연관성, 적합성, 사실성, 정확성

- 활용성 [유접적보]

> 유용성 : 충분성, 유연성 사용성, 추적성

> 접근성

> 적시성

> 보안성

​

데이터 변환후 품질 검증 프로세스

- 빅데이터 수집 > 메타 데이터 수집 > 메타 데이터 분석 > 데이터 속성 분석

​

빅데이터 적재 소프트웨어 아키텍처 정의

- 수집 : 크롤러, ETL, 연계/수집 플랫폼

- 적재 및 저장 : 데이터 구성 플랫폼, RDB, NoSQL, Object 스토리지, 빅데이터 자원관리

- 분석 : 빅데이터 분석 모델, 분석 플랫폼

- 활용 : 데이터 시각화, 데이터 활용 플랫폼, Open API 서비스

​

데이터 적재 도구

- Fluentd, 플럼, 스크라이브, 로그스태쉬(logstash)

​

데이터 저장 기술

- 분산 파일 시스템, 데이터베이스 클러스터, NoSQL, 병렬 DBMS, 네트워크 구성 저장 시스템, 클라우드 파일 저장 시스템

​

구글 파일 시스템(GFS)

- 파일을 청크단위(64MB) 나눠, 여러 복제본을 청크서버에 분산/저장

- 클라이언트(posix 미지원), 마스터, 청크 서버로 구성

- 클라이언트가 GFS 마스터에 파일 요청 > 마스터는 청크의 매핑정보 찾아서 해당 청크 서버에 전송 요청 > 해당 청크 서버는 클라이언트에서 청크 데이터 전송

​

하둡 분산 파일 시스템(HDFS)

- 블록 구조의 파일시스템

- 1개 네임노드 : 메타데이터 관리, 마스터 역할, 데이트 노드로 하트비트 받아 노드상태/블록상태 체크

- 1개 이상 보조 네임노드 : HDFS 상태 모니터링, 네임노드의 주기적 스냅샷

- N개 데이터 노드 : 슬레이브 노드, 데이터 입출력 처리, 3중 복제 저장

​

러스터

- 객체 기반 클러스터 파일 시스템

- 계층화된 tcp/ip, 인피니밴드 지원

- 클라이언트 파일 시스템(고속 네트워크 연결), 메타데이터 서버, 객체 저장 서버로 구성

​

데이터베이스 클러스터

- 공유 디스크 클러스터(ex.RAC), 무공유 클러스터(ex. galera)

​

NoSQL

- schemaless, 조인연산 x, 수평적 확장 가능, BASE, CAP 이론에서 2개 속성만 만족

- Key-value(redis, dynamoDB), Column Family(cassandra, HBase), Document(mongdb, couchbase), Graph(neo4j, allegroGraph)

​

BASE

- Basically Available : 언제든 데이터 접근 가능, 분산 시스템이라 가용성 의미

- Soft state : 특정 시점에 일시적 일관성 미보장, 외부 전송된 정보로 노드상태 결정

- Eventaully consistency : 결국 일관성을 마춰짐

​

CAP 이론

- Consistency(일관성), Availability(가용성), Partition Tolerance(분산 가능) 에서 2가지만 만족

- C + A => RDBMS

- A + P => NoSQL

- C + P => NoSQL

AWS MFA(Multi Factor Auth.)가 설정된 상태입니다. PC가 바뀌어서 aws console 접속도 안되고, MFA 키값 저장도 안해서 MFA 인증 설정을 할 수 없는 난처한 상황입니다. 그렇지만 EC2 서버 접속은 가능하고, aws configure에 액세스 키와 시크릿 키는 모두 저장된 상태입니다.

​이렇게 난감한 상황에서 바로 MFA 비활성화해서 AWS Console을 로그인하는 방법이 필요합니다. 해결책은 아래에 있습니다.

1. aws configure 확인

 aws ec2 접속한 상태에서 aws 접속 키는 아래와 같이 저장되어 있음을 확인합니다.

ubuntu@ip-100-0-11-89:~$ aws configure list
      Name                    Value             Type    Location
      ----                    -----             ----    --------
   profile                <not set>             None    None
access_key     ****************2Q6Z shared-credentials-file
secret_key     ****************ufYS shared-credentials-file
    region           ap-northeast-2      config-file    ~/.aws/config
ubuntu@ip-100-0-11-89:~$

2. MFA의 SerialNumber 확인

MFA 비활성화 위해 아래 명령어를 사용해서 이전에 설정한 MFA SerialNumber 값을 확인합니다. 즉, arn:aws:iam::061234567890:mfa/manager 값을 별도로 보관합니다.

ubuntu@ip-100-0-11-89:~/temp$ aws iam list-virtual-mfa-devices
{
    "VirtualMFADevices": [
        {
            "SerialNumber": "arn:aws:iam::061234567890:mfa/manager",
            "User": {
                "Path": "/",
                "UserName": "mspmanager",
                "UserId": "ABCDE5QJOOGZE123QABCD",
                "Arn": "arn:aws:iam::061234567890:user/manager",
                "CreateDate": "2022-02-20T11:10:00Z",
                "PasswordLastUsed": "2022-03-25T05:09:39Z"
            },
            "EnableDate": "2022-03-25T00:22:35Z"
        }
    ]
}

3. aws iam deactivate-mfa-device 구문으로 비활성화

aws iam deactivate-mfa-device 구문을 수행하며 바로 MFA가 비활성화된다. 즉시 id/pw 만으로 aws console 로그인이 가능해진다.

- 구문 : aws iam deactivate-mfa-device --user-name [IAM 유저] --serial-number [시리얼넘버]

ubuntu@ip-100-0-11-89:~$ aws iam deactivate-mfa-device --user-name manager --serial-number arn:aws:iam::061234567890:mfa/manager

MFA 활성화가 되면, AWS Console에 접속하여 아이디와 비밀번호 입력만으로 로그인이 되는지 확인합니다. 위 순서대로 차근차근 수행했다면, 다른 오류없이 정상 로그인이 될 것입니다.

$ sudo apt-get update

$ export PROVIDER=aws
$ curl -LO https://github.com/GoogleCloudPlatform/terraformer/releases/download/$(curl -s https://api.github.com/repos/GoogleCloudPlatform/terraformer/releases/latest | grep tag_name | cut -d '"' -f 4)/terraformer-${PROVIDER}-linux-amd64
$ chmod +x terraformer-${PROVIDER}-linux-amd64
$ sudo mv terraformer-${PROVIDER}-linux-amd64 /usr/local/bin/terraformer

$ terraformer version
Terraformer v0.8.20

$ vi .terraformrc
plugin_cache_dir   = "$HOME/.terraform.d/plugins"
disable_checkpoint = true

.terraform.d$ pwd
/home/ubuntu/.terraform.d
.terraform.d$ mkdir plugins

방금 전에 생성한 plugins 파일에는 AWS 프로바이더에 대한 플러그인 파일이 없습니다. 따라서 terraform 파일이 있는 워크스페이스(디렉토리)에서 terraform init 을 수행하거나, terraform 파일이 있는 워크스페이스의 .terraform 내용을 복사(cp) 합니다. 필자는 편의상 아무런 내용이 없는 임시 tf 파일(dummy 파일)을 만들고 terraform init 명령어를 수행하였습니다.

2. aws configure 정보에서 profile 정보를 확인합니다. 필자는 단 1개의 aws 계정정보만 저장해놔서, profile이 not set입니다. 만약 2개 이상의 AWS 계정을 사용해서 여러 개의 aws profile(인증정보)이 설정되어 있다면, terraformer이 어떤 prfile에서 수행할지 알고 있어야 합니다.

$ aws configure list
      Name                    Value             Type    Location
      ----                    -----             ----    --------
   profile                <not set>             None    None
access_key     ****************2Q6Z shared-credentials-file
secret_key     ****************ufYS shared-credentials-file
    region           ap-northeast-2      config-file    ~/.aws/config

3. 본격적으로 terraform import 명령어를 수행합니다. 그러면 AWS에 terraform으로 생성했던 vpc, subnet 자원 등이 tf 파일로 변환됩니다. 즉, terraform 코드로 자동 작성됩니다. 나머지 옵션 설정은 본인의 환경에 맞게 설정해도 됩니다. 필자의 경우는 vpc, subnet 자원에 대해서만, 서울 리전에 있는 자원들을 terraform 코드로 만들기 위한 옵션을 설정하였습니다.

$ terraformer import aws --resources=vpc,subnet --connect=true --regions=ap-northeast-2 --profile=default
2022/05/19 05:48:49 aws importing region ap-northeast-2
2022/05/19 05:48:50 aws importing... vpc
2022/05/19 05:48:50 aws done importing vpc
2022/05/19 05:48:50 aws importing... subnet
2022/05/19 05:48:50 aws done importing subnet
2022/05/19 05:48:50 Number of resources for service subnet: 17
2022/05/19 05:48:50 Number of resources for service vpc: 4
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-092b034e17d810921
2022/05/19 05:48:50 Refreshing state... aws_vpc.tfer--vpc-078038c68840cbfbc
2022/05/19 05:48:50 Refreshing state... aws_vpc.tfer--vpc-01a81c0e2144bdd47
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-09f0e4fd5f17a0cc0
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-0aae713476d65fe7b
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-02bd3aaa711a20d00
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-0fcb54046715d93e0
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-028a2aa49de693c15
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-0ca100c38f015c211
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-055a5f1bcbc7694ba
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-04f738ca162f5c2f2
2022/05/19 05:48:50 Refreshing state... aws_vpc.tfer--vpc-03f5e59e172fdbfb2
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-084acb594ef0d1265
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-027888e2e5d2808f5
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-0e00af5c09e91cb25
2022/05/19 05:48:50 Refreshing state... aws_vpc.tfer--vpc-07d137e8fcb98387c
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-057a10c05f348ec0e
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-076766b5c56ebc498
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-0f2cce1af115ea800
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-0779ddd4e0b96d339
2022/05/19 05:48:50 Refreshing state... aws_subnet.tfer--subnet-06d7f3921d21f03ef
2022/05/19 05:48:50 Filtered number of resources for service vpc: 4
2022/05/19 05:48:50 Filtered number of resources for service subnet: 17
2022/05/19 05:48:50 aws Connecting....
2022/05/19 05:48:50 aws save subnet
2022/05/19 05:48:50 aws save tfstate for subnet
2022/05/19 05:48:50 aws save vpc
2022/05/19 05:48:50 aws save tfstate for vpc

4. 이제 최종 변환된 파일을 확인합니다. (편의상 파일 구조를 표현하는 tree 유틸리티를 통해서 결과 확인) generated 디렉토리 하위에 vpc, subnet 으로 분리하여 tf 파일이 잘 생성된 것을 확인할 수 있습니다.

/terraformer$ tree
.
├── generated
    └── aws
        ├── subnet
        │   ├── outputs.tf
        │   ├── provider.tf
        │   ├── subnet.tf
        │   ├── terraform.tfstate
        │   └── variables.tf
        └── vpc
            ├── outputs.tf
            ├── provider.tf
            ├── terraform.tfstate
            └── vpc.tf