데이터사이언스

2017. 9. 12. 23:21

01 Association

definition 중요
frequent pattern - pattern with frequency larger than minimum freq.
support, confidence
closed pattern
max-pattern - min. support을 넘는 최대의 패턴
downward closure
Apriori pruning principle(Apriori Algorithm)

Self-joining -> Pruning

과제 max-freq. set 관련없음. 결과값 - 모든 freq. set에 대해 결과 출력

freq. pattern mining의 단점

스캔을 여러번 해야함
후보가 여러개: 기하급수적으로 늘어남. 가장 시급한 문제
support 계산이 오래걸림

해결책

Partition: db를 두번만 스캔

17쪽: at least one이라는 의미는 모든 partition에서 미달이면 전체에서도 미달이라는 의미. 따라서 적어도 하나에서는 local minimum freq.를 넘어야 함
하지만 이 방법은 불필요한 candidate를 생성. 메인 메모리 측면에서 안좋다고 할 수 있다

Sampling: db의 샘플로 apriori 진행

오류의 가능성을 감내함
sample minimum freq.로 진행해야함
1. 샘플로 apriori 진행 후 freq. pattern set을 구함
2. 1번에서 구한 set + negative border를 전체 db에서 min freq로 스캔하여 확인
3. 2번의 결과를 이용하여 전체db를 다시 스캔해서 missed freq. patterns를 찾음(nb 때문에 sample에서 찾지 못했을 수도 있으니까)
결론: 2번의 db + 1번의 sample 스캔

DIC: 스캔 수 감소

frequent하다고 알려진것이 알려진 순간 바로 묶어서 스캔을 시작함. 같은 길이의 패턴들이 다 나올때까지 기다리지 않음

Mining Freq. Patterns w/o Candidate Generation

freq패턴을 찾으면 전체를 스캔하는게 아니라 그 패턴을 가진 itemset만 스캔함. 계속 반복하여 스캔하는 부분을 줄여나간다

FP-tree

1. 길이가 1인 패턴을 찾음
2. 1의 결과를 freq.순으로 나열하여 f-list생성
3. db를 다시 스캔하여 fp-tree생성
현장에서 가장 이상적인 알고리즘인 이유:

completeness: 과정에서 모든 정보를 저장함
compactness: 필요한 정보만 가지고있음. 원래의 db를 버리고 tree만 가지고 있어도 데이터 마이닝에 필요한 모든 것을 할 수있다.

26쪽 conditional pattern bases 테이블에서 각각 item에 대해 생성된 row를 c-conditional database, a-conditional database, b-conditional database… 등등으로 부른다

이 테이블을 이용하면 m을 포함하고 있는 셋의 개수를 찾을때 편함.

27쪽에서 m-conditional fp tree를 생성할 때 fcabm은 1번밖에 안나오므로 없애고 fca만 그린다

MaxMiner: 두번째 이후 스캔에서는 각 알파벳을 포함하고 있는 2 item set을 계산할 때마다 potential max-pattern을 계산하여 그것의 freq.를 계산한다. 그리고 그게 실제로 max-pattern으로 판별되면 해당 단계와 max-pattern단계 사이에 있는 단계는 계산할 필요가 없으므로 candidate를 줄일 수 있음.

CHARM: vertical data format - 이전까지의 알고리즘은 T1: a, b, c/T2: b, d, e 이런식으로 하나의 셋이 가지고 있는 알파벳을 나타냈다면 이거는 a: T1, T3/b: T1, T2, T3 이런식으로 하나의 알파벳이 등장하는 셋을 묶어 나타낸다

@Mining various kinds of association rules

Mining multiple-level association rules

같은 item중 다른 종류가 있을 때 (ex) 2% milk, skim milk 둘다 milk에 속한다

milk의 min support보다 2%랑 skim의 min support를 각각 작게 정한다

descendent의 rule은 redundant해질 수 있다

45쪽 dimension은 predicate를 의미한다

age와 occupation. 2개의 predicate
age와 buys. 2개의 predicate

attribute types

categorical: occupation
quantitative: salary -> 양자화해야함

51쪽 misleading한 이유는 농구를 안해도 씨리얼을 먹는 사람이 더 많기 때문. 이를 해결하기 위한 것이 lift.

lift가 1이면 두 사건은 독립적

cosine는 total number of transaction에 영향을 받지 않는다는 의의가 있다. lift는 받음 왜냐하면 분모에서 하나 올라가서 분자에 곱해지니까
책에서 문제나올수도있다

constraint의 종류: knowledge type, data constraint, dimension, interestingness

56쪽 중요하지 않음

mining과 search의 차이

mining은 constraint를 만족하는 모든것을 찾는거고 search는 constraint를 만족하는 하나/몇가지의 답을 찾는것

mining과 query processing 비슷..

Anti-Monotonicity in Constraint Pushing

price는 항상 양수라고 가정할 때 sum<= v는 anti-monotone이다. 왜냐하면 어떤 set의 superset은 항상 더 큰 sum을 가질 것이기 때문이다

Monotonicity

anti-monotone한 constraint에서 부등호를 바꾸면 monotone하다

Succinctness constraint c를 만족하는 a가 있다면 a에 다른 item을 붙여서 c를 만족하는 set을 모두 만들어낼 수 있다.

a는 c를 만족하게 하는 minimum set임
63쪽의 min은 succinctness constraint임 왜냐하면 c에 대해서 a를 만들 수 있으니까. 여기서 a = {1}임

64쪽 anti-monotone/monotone하지 않은 constraint들을 그렇게 만드는 방법: item을 순서대로 나열함

02 Introduction

03 Classification

classification: training set을 통해 데이터를 분류
prediction: continuous-values function을 생성 -> 알려지지 않은 값을 추정

classification의 두 단계

1. Model construction: training set을 이용하여 class label의 속성을 정의
2. Model usage: accuracy를 측정하고 acceptable한 경우에 모델을 사용한다

supervised/unsupervised

supervised는 class label이 알려짐 -> classification
un- 은 안알려짐. 알아서 분류함 -> clustering

classification method를 평가하는데는 많은 기준이 있다. accuracy, speed, robustness, scalability, interpretability 등

decision tree

top-down recursive divide-and-conquer manner
각 레벨에서의 attribute를 선정하는 방법

Information gain

모든 attribute의 homogeneity를 구하고 순서대로 선택
50/50인것을 heterogeneous라고 한다
highest information gain을 할 수 있는 attribute를 선택한다
나눠진 expected info에 가중치를 붙여 평균을 구한다. 가중치는 나눠진 subset의 크기

Gain ratio

1. continuous value의 경우 먼저 best split point를 구한다.
2. 오름차순으로 정렬
3. 근접한 두 값을 반으로 나눈 지점을 보통 split point로 정한다
gain ratio: information gain과 같은 개념이지만 set의 크기가 치우치는 것까지 감안해서 split info를 나눠준 값임
크기가 치우치는 것을 prefer함

gini index

크기가 비슷한 것을 prefer함. (equal-sized partitions)

Overfitting and Tree Pruning

overfitting: training set의 모든 값을 각각의 branch로 classify함

해결책: prepruning/postpruning

@Bayesian Classification

35쪽 naive bayesian classifier를 사용할 경우 곱해지는 확률 중 하나가 0이면 최종 확률이 0이 된다. 이를 막기 위해 곱해지는 확률이 0일경우 1을 더함 (1000가지 경우 중 0번이면 1000가지 경우 중 1번으로 가정하는 식으로)

장점: 적용이 쉬움
단점: 이 방법의 가정이 각 attribute는 독립적이라는건데 실제 자료에서는 attribute간 dependency가 존재할 수 있음. (병원 db라면 나이와 질병 종류의 관계)

@Rule-based classification

if-then rules
38쪽 decision tree에서 rule을 추출

@Associative Classification

@Lazy/Eager Learning

@The k-Nearest Neighbor Algorithm

k-nearest: k개의 가장 가까운 point

@Prediction

predictor variable: 예측을 하는데 이용되는 attribute로, independent variable이라고도 한다
response variable: 예측의 결과로 결정되는 attribute로, dependent variable이라고도 한다

multiple linear regression: predictor variable이 하나 이상일 때
nonlinear regression: 2차 이상의 식(polynomial function)

@Accuracy and error measures

51쪽: 행 - label, 열(빨간색) - 실제 값

loss function: 실제 y값과 label된 y값의 차

holdout method

주어진 데이터를 두개로 나누어 하나는 training, 하나는 test에 사용한다
random sampling: holdout를 매번 다른 partition으로 k번 실행하여 평균 accuracy를 구한다

cross-validation

주어진 데이터를 k개의 mutually exclusive한 subset으로 나누어 k번 반복하며 i번째의 subset을 test set, 나머지는 training set으로 사용
leave-one-out: k를 tuple갯수로 하여 subset에 하나의 tuple씩 있게함
stratified cross-validation

bootstrap

작은 크기의 데이터에 적합
training data를 뽑을 때 하나의 tuple을 선택하면 그걸 다음에 뽑을 때 제외하지 않고 셋에 다시 넣음 -> uniformly with replacement

ensemble methods

정확도를 높이기 위해 여러가지 learned model을 combine
종류

bagging: average
boosting: weighted average
ensemble

04 Clustering

Cluster Analysis

unsupervised learning: no predefined classes
classification은 supervised learning임 왜냐하면 class label이 주어지니까
clustering method 판단의 기준

intra-class similarity / inter-class similarity

Major Clustering Approaches

Partitioning

k-means

Hierarchical
Density-based

용어

Centroid: cluster의 중심
Radius: (cluster의 한 점에서 centroid 까지의 거리의 평균)^1/2
Diameter: (cluster의 한 점에서 다른점까지 거리의 제곱의 평균)^1/2

Single link: 한 cluster의 점에서 다른 cluster의 점까지 거리 중 가장 짧은 거리
Complete link: 한 cluster의 점에서 다른 cluster의 점까지 거리 중 가장 긴 거리
Average: 한 cluster의 점에서 다른 cluster의 점까지 거리의 평균
Centroid: 한 cluster의 centroid와 다른 cluster의 centroid의 거리
Medoid: 한 cluster의 medoid와 다른 cluster의 medoid의 거리

mediod: cluster의 median(다른 점들까지의 거리의 합이 최소인 점)

Partitioning Algorithms

K-Means

자신이 속하는 cluster의 representative와 자신의 거리 제곱이 최소인것
알고리즘은 간단하지만 costly하다
cluster center를 고름 -> 모든 점을 가장 가까운 center로 assign -> (cluster의 점들을 바탕으로 means 다시 선정 -> 점들을 새로운 means로 다시 assign) -> 반복…..
단점

global optimum을 못찾는 경우가 많음. 왜냐하면 맨 처음에 center를 정할 때 random하게 정하기 때문
mean이 정의되어 있을 때만 적용 가능
k도 미리 정의해야함
noise, outlier를 처리할 수 없다
원형이 아닌 cluster(길쭉)는 찾을 수 없음

K-Modes

*수정* 18쪽에서 vector Q는 qm 까지있음 왜냐하면 m개의 attribute가 있으니까
Mode 또한 계산되는 값임. 존재하지 않는 점일수도 있음
X1 = an object represented as a vector

그니까 Q가 X1이 될 수 있는것

k-modes는 categorical attribute를 가진 데이터에 대해서만 사용. numerical(continuous value)를 가진 데이터는 사용하지 않는다

K-Medoids

k-means의 단점을 보완: 엄청 큰 값을 가진 점(outlier)은 cluster를 바꿀 수 있다

그래서 mean value(centroid) 대신 medoid(가장 중심에 위치한 점)를 사용/centroid는 computed 되는데 반해 medoid는 found됨. medoid는 이미 존재하는 값이라는 뜻이다

PAM(Partitioning Around Medoids)

TCih가 음수라는 건 i와 h를 바꿈으로써 benefit이 생긴다는 뜻
cluster center를 고름 -> (i와 h를 바꾸거나 바꾸지 않음 -> h를 배정함) -> 반복
noise/outlier 문제가 덜함. 왜냐하면 덜 영향받음
*수정* 24쪽 for each iteration아님. 그냥 전체에 대해서 복잡도가 저거임
단점: kmeans보다 빅오가 엄청 크다. kmeans는 linear

CLARA(Clustering Large Applications)

샘플사이즈에 따라 efficiency가 달라짐

Hierarchical Methods

파티셔닝과 달리 클러스터의 갯수인 k를 줄필요가 없음
AGNES(Agglomerative Nesting)
DIANA(Divisive Analysis)

하나의 큰 덩어리에서 한 점에서 모든 다른 점까지의 거리의 평균(ㅁ)이 제일 큰것을 떼낸다 -> 큰덩어리에서 ㅁ가 작은덩어리의 ㅁ보다 큰것을 다 떼냄. 없을때까지

AGNES>DIANA. 시간복잡도에서
35쪽 LS:Linear Sum / SS: Square Sum
BIRCH

CF-Tree(Clustering Feature Tree)

CF = (N, LS, SS)
leaf와 non-leaf에 대해 처리를 다르게 함
맨 처음에 루트에서 child하나씩 돌면서 클러스터에 추가함. 만약에 계속 추가하다가 diameter가 threshold보다 커지면 다음 클러스터를 만들어서 그 다음부터는 거기에 추가. 반복한다

ROCK

Jaccard coefficient: 두 set간의 similarity 비교
link(T1,T2) -> T1, T2 모두에 대해서 jaccard coefficient가 threshold를 넘는것

CHAMELEON

“Dynamic” + bottom-up fashion(cluster를 합침)
interconnectivity & closeness between two cluster가 크고 각각의 internal interconnectivity & closeness값이 작을 때만 merge한다.
steps

1. k-nearest neighbor graph 그림(어떤 object와 가장 가까운 k개의 노드)

2. 그래프를 나눔. graph partitioning을 이용(weak connection을 가진것들)

3. 그래프를 합침. agglomerative hierarchical clustering을 이용

EC - edge cut

Density-based Methods

discover clusters of arbitrary shape, noise handling, one scan, need density parameters as termination condition
density로 측정하기 때문에 원형이 아닌 모양도 측정 가능하다

Basic Concepts

Eps: 어떤 점의 neighborhood의 최대 반경
MinPts: 어떤 점의 neighborhood가 가지는 점의 최소량
core point condition: q가 core point일 조건
Directly density-reachable의 역은 반드시 성립하지 않는다
Density-reachable/Density-connected

DBSCAN

maximal set of density-connected points
outlier를 감지할 수 있음 -> 정의에 따라 core point가 될 수 없기 때문에
52쪽: DBSCAN은 parameter에 굉장히 민감함

OPTICS

wrt: with respect to
nested eps 가 nested cluster를 만든다
core distance/reachability distance
55쪽: p2를 o로부터 directly density reachable하게 하려면 eps를 reachability distance로 설정한다.
57쪽: eps를 어떻게 설정하느냐에 따라 다른 y값에서 잘리게 되고 cluster가 다르게 나옴

Outlier Discovery

statistical approach: 데이터의 분포그래프를 통해 중심에 있는 몇퍼센트의 값을 제외하고 outlier라고 생각한다. 단 single attribute에 대해서만 적용가능하고, 데이터의 분포가 알려지지 않은 문제가 있을수도 있다.
distance-based approach: 적어도 p만큼의 데이터가 어떤 점부터 충분히 멀면 그 점을 outlier라고 한다

local outlier concept의 필요성

//중간고사 k-means까지 k-medoid빼고

intro, association rule, classification, clustering

KDD 그림
Partition, DIC, DHP 등 특징 서술
FP Tree 그리기
Info Gain, Gain Ratio 공식 + 설명
Linear Regression 1차 공식
TP TN FP FN 공식
K-Means 서술 + 단점 서술

05 Outlier

금융사기 방지
outlier detection의 목표: fringe object와 micro cluster를 적절하게 판정하기 위함

using object location features

location feature를 계산 -> outlierness score 결정 -> score이 가장 높은 m개를 outlier로 선정

statistics-based

가장 알맞은 statistical distribution model 결정 -> model에 맞지 않는 값을 outlier로 선정
단점: multi-dimensional한 데이터에 대해서는 결정하기 어려움 + real world data는 특정한 SDM에서 생성되지 않음

distance-based

object간 거리를 location feature로 사용
하나의 object의 distance d 내에 존재하는 object의 갯수를 보고 p개 이하이면 해당 object를 outlier로 선정
단점: d와 p를 모두 정의해야 함 + local density problem

density-based

한 object의 density가 이웃하는 object의 density보다 낮으면 outlier로 선정
단점: micro-cluster problem -> 데이터셋 내 object의 characteristic을 고려해야함

RWR-based

random walk with restart(skip)

결론

outlier를 정확하게 선정(local density, micro-cluster, fringe object 문제 해결)
user에게 outlierness score를 제공
모든 종류의 데이터를 handle할 수 있어야함
parameter value에 영향을 적게 받아야함

Centrality and Center-Proximity(location feature의 일종)

centrality: 얼마나 많은 다른 object가 한 object를 cluster의 center라고 생각하는지

어떤 object의 centrality score이 높으려면: neighbor가 많아야함 + neighbor과의 거리가 가까워야함 + neighbor의 center-proximity가 높아야함

center-proximity: 어떤 object가 cluster center에 얼마나 가까이 있는지

어떤 object의 center-proximity score이 높으려면: neighbor가 많아야함 + neighbor과의 거리가 가까워야함 + neighbor의 centrality가 높아야함

두 score의 관계

mutual reinforcement: 하나가 높으면 이웃의 높은 점수를 줄 수 있음

Outlierness Score

inverse of the converged center-proximity score

centrality 대신 쓰는 이유: fringe object와 outlier를 구분하기 위해 - 둘 다 centrality가 0임

Time complexity - O(Ei)

Graph Modeling

두 가지 design issue: modeling scheme, weight assignment
Modeling Scheme

complete graph

그림과 같이 o1이 중간에 있을경우 문제 발생

e-NN graph(입실론엔엔)

정확도가 e의 영향을 많이 받음(parameter sensitive)

k-NN graph

a->b가 의미하는것: a가 b를 neighbor로 생각한다
cluster밖에 있는 object b는 neighbor로 생각하는 애들이 존재할 수 있지만 그 애들은 b를 neighbor로 생각하지 않을 수 있음

Weight Assignment

euclidean similarity/cosine similarity
상황에 따라 적절한 similarity를 선택해야 함
하지만 뒤의 analysis를 보면 대체로 euclidean이 나음

06 Recommender Systems

big data: behavioral results/preference
classification

content-based approach: 나의 preference 기반

내 preference를 분석하는 데 learning이 들어감
item profile, user profile
user profile에 가까운 content를 추천
단점: content를 추출하는 것이 어려울 수 있음(ex - multimedia의 경우), user profile과 다른 item은 추천하기 어려움(surprise-me recommendation), 데이터가 없는 user에게는 추천할 수 없음

collaborative filtering approach: 내 neighbor의 preference기반

내 neighbor를 분석하는 데 learning이 들어감
1. target user과 다른 user의 similarity 분석(PCC/Cosine 이용)

PCC: 두 user의 여러 item에 대한 preference가 비례관계에 있는지 여부를 알려줌

2. 하나의 target item에 대해 여러 neighbor가 부여한 rating을 계산하여 하나의 점수로 만듬(=aggregation)

aggregation methods: average/weighted average/weighted average using difference(가장 정확)
difference: rating과 해당 유저의 rating평균의 차. 왜냐하면 아주 좋다고 생각해도 rating을 3만 주는 사람일수도 있기 때문.

24쪽에서 실제 구현할 때 matrix를 쓰면 빈 공간이 많이 낭비되기 때문에 주로 링크드리스트로 구현한다

hybrid approach
social network information(trust-based)

내 주변의(trust관계에 있는) 많은 사람들이 선택한 물건을 추천

emotion, web search, …
Heuristic-Based

heuristics formula에 기반하여 user preference를 추측

Model-Based

model에 기반하여 user preference를 추측(learning required to build model)

evaluation

기준: accuracy, performance(time)

Exploiting uninteresting items

idea: unrated item을 이용하여 정확도를 높인다
unrated item은 user가 알지 못한 item일수도 있고, 알았지만 좋아하지 않았기 때문에 이용하지 않은 item일 수도 있다(uninteresting item)
uninteresting item: user가 negative preference를 가진 아이템
Preference의 종류: pre-use preferences, post-use preferences
35쪽

interesting items: pre-use가 high

preferred items: pre-use, post-use가 high

uninteresting items: pre-use가 low

만약에 0이 엄청 많이 들어가면 aggregation할 때 average가 낮아짐. 문제가 발생한다. 따라서 rating prediction에 적합하지 않고 top-N recommendation에 적절함

One-class collaborative filtering(OCCF) Problem

rating score이 unary할 때: click/bookmark/purchase 등
이럴 경우에는 unrated item에 대해 negative인지 unknown positive인지 판단할 수 없다
해결방안: OCCF Method

unary matrix에 unrated를 모두 0으로 대입하여 binary matrix를 만든다 + unary matrix에 어떤 heuristic을 적용하여 weight matrix를 만든다 -> 어떤 두개의 low rank matrix를 곱하여 binary matrix가 나올수 있게 함
공식스킵

42: 세타를 20%으로 설정할경우 허연애들만, 80%으로 설정할 경우 하얀+파랑, 99%일경우 남색까지 uninteresting item임

Zero-injection

45: 원래의 0이 없는 rating matrix에서는 i1과 i3이 비슷한 아이템처럼 보이지만(1-1), zero injected matrix에서는 5-0으로 rating한 user가 있기 때문에 덜 비슷한 아이템처럼 보인다

07 Data

Attribute 종류

ordinal: 순서는 중요하지만 하나의 값과 다른 값이 얼마나 차이가 있는지는 알려지지 않음
interval: 순서 중요. 하나의 값과 다른 값 사이의 차이가 일정
ratio: “크기”가 중요한 의미를 가지는것(날짜는 day2가 day1의 두배라고 하지는 않으니까 ratio아님)

Statistical Descriptions

median은 outlier가 있을 때 central tendency를 판단하기 좋은 기준이지만 dynamic handling이 어렵다.

dynamic handling: 새로운 데이터가 들어왔을 때 업데이트 하는 것

mean은 새로운 데이터를 그냥 더하고 나누면 됨
median은 새로운 데이터를 입력해서 sort한 후 다시 계산해야함. 그래서 estimation을 한다(12쪽 공식)

quartiles: = quarter (Q1, Q2 = median, Q3, Q4 = max)
five number summary: min, q1, median, q2, max

boxplot
histrogram
quantile plot

데이터를 누적%으로 표시하기 때문에 monotonically increase함

quantile-quantile plot

두개의 다른 데이터를 보고 싶을 때
22쪽 예시에서 브랜치 1에서 90에 파는것을 2에서 100에 파는것을 알 수 있다. -> 1보다 2에서 대체적으로 물건을 비싸게 판다는 사실을 알 수 있음

scatter plot

attribute가 두개인 데이터(bivariate data)
positive/negative/no correlation에 대해 알 수 있음

Similarity and Dissimilarity

similarity: 두 데이터 object가 얼마나 비슷한지. 0부터 1사이의 값
dissimilarity: 두 데이터 object가 얼마나 다른지. 최대값 제한이 없음
proximity: similarity/dissimilarity 중 하나

symmetric variable: 두가지 state의 중요도가 같은것 (성별)
asymmetric - : 한 state가 다른 state보다 중요한것 (암 양성)

*수정*32쪽: “-” when the raw score is below the mean, “+” when above
Minkowski distance에서 h=1이면 manhattan distance, 2이면 euclidean distance

h 무한일경우 supremum distance: vector간의 attribute차 중 가장 큰 차

38쪽 d(i,j)는 weighted average임

08 Concept Description

09 Preprocessing

데이터의 퀄리티를 향상시키기 위함

Data Cleaning

missing data 문제 해결방법

missing data가 있는 tuple을 제외한다 -> 그런 tuple이 많을 경우 문제가 발생
가장 좋은 방법은 missing value를 manual하게 채워넣는 것이다. 하지만 너무 오래걸리고 가끔은 costly하다

crowd sourcing

missing value를 automatically 채워넣기

attribute mean
attribute mean for the same class (ex) 같은 직업을 가진 사람들의 salary
bayesian formula/decision tree를 통한 값 추론

noisy data 문제 해결방법

clustering
computer/human inspection

Data Integration

서로 다른 종류(출처)의 데이터를 integrate할 때

다른 이름의 attribute가 같은 의미인 경우 (customer id와 customer number)
다른 이름을 가진 entity가 같은 개체를 의미하는 경우(bill clinton과 william clinton)

redundancy

derivable data(birth date에서 age를 derive 할 수 있음)
correlation analysis를 통해 제거할 수 있다

chi-square test

15쪽: 괄호안에 있는 숫자는 expected number임

90 = 350/1500 * 450/1500 * 1500

값이 클수록 두개의 attribute는 not indepenent함(관련이 있음)
하지만 correlation이 인과관계를 나타내지는 않음

correlation coefficient(numeric data일 경우)

-1 ~ +1 사이의 값을 가진다

covariance

양수이면 expected value보다 크다

Data Reduction

데이터를 통한 분석결과가 똑같다면 데이터의 양은 적을수록 좋다

reduction 방법

dimensionality reduction

dimensionality가 증가하면 sparsity도 증가한다
point간 density/distance의 의미가 감소한다

wavelet transformation

마지막 average와 detail coefficient들을 저장하는데 만약 모두 저장하면 딱히 좋은 점이 없음. 따라서 최대한 저장할 수 있는 한에서 덜 중요한 것들을 지운다(detail coefficient위에서부터 하나씩)

PCA(principal component analysis)

numeric data에만 사용된다
100개의 dimension이 있을 경우 10개의 attribute만 본다고 하면 variance가 가장 큰 10개를 선택한다.
어느 정도의 경향성이 있을 경우에만 사용 가능하다. 예를 들어 데이터가 원모양으로 scatter되어 있을 경우 그중에 어떤 것을 선택해도 data loss가 발생할 수 밖에 없음!!!!

Attribute subset selection

redundant하고 irrelevant한 것들을 지운다

numerosity reduction

두가지 종류: parametric/non-parametric
regression analysis(parametric)

x는 independent variable, y는 dependent variable

histogram analysis(non-p)

y축은 x에 해당하는 데이터의 sum이나 count

clustering
sampling

stratified sampling이라는게 있음(각 partition에서 일정한 만큼 뽑는것)

data compression

compression을 어떻게 하느냐에 따라 lossless할 수도 있고 lossy할 수도 있다

Data Transformation

transformation: 어떤 값을 다른 값으로 바꾸는 것

normalization: 더 작고 구체적인 값으로 정규화
discretization: 양자화

Normalization

min-max normalization

정의된 min과 max사이의 값으로 정규화

z-score normalization

표준정규분표로 정규화

normalization by decimal scaling

10의 배수로 나눔 -> 새로운 값의 max가 1보다 작도록

Discretization

binning

두가지 방법: equal width/equal depth
smoothing by bin boundaries: bin 내의 min/max중 가까운 것으로 바꿈
clustering이 더 좋은 결과를 보임

저작자표시 비영리 변경금지

'CS > Lecture' 카테고리의 다른 글

컴퓨터비전 (0)	2017.09.13
지능형생물정보학 (0)	2017.09.13
운영체제 (0)	2017.09.13
인공지능 (3)	2017.09.12
컴퓨터그래픽스 (0)	2017.09.12

🍺 매일매일 맥잔잔 🍺

데이터사이언스

'CS > Lecture' 카테고리의 다른 글

+ Recent posts

티스토리툴바