🍺 매일매일 맥잔잔 🍺

• 신호처리, 머신러닝, 통계, 로봇, 그래픽스등 다양한 분야와 관련이 있음
• 2000년대에 와서야 대중화됨
• 컴퓨터비전은 레벨별로 분류할 수 있음
• 로우레벨: stereopsis, optical flow, image segmentation
• 미드레벨: object tracking, human motion analysis
• 하이레벨: object recognition, event detection

• 보통의 인간은 trichromacy(원추세포가 r,g,b 세개있음. 세가지 원추세포로 물체의 색깔을 인식함)
• monochromacy~pentachromacy의 다양한 생물들이 있음
• cone(원추세포)가 있는 영역은 안구 내부에서 극히 일부(fovea)를 차지함. 나머지는 rod(명암, 형태 등을 인식하는 세포)
• perceptual organization(지각적 조직화)
• subjective contour(주관적 윤곽)
• stomatopod: 특이한 눈을 가졌음

• 선형대수
• p-norm
• 내적
• 외적은 쓸일없음
• 행렬(합, 곱, transpose)
• rank: number of linearly independent rows/columns
• linearly independent: 다른 row/column의 linear combination으로 만들 수 없는것

• 이미지 프로세싱이란?
• I -> I’
• 하나의 이미지를 넣어서 새로운 이미지를 뽑음
• PIL: Python Imaging Library
• box 나타내는 방법 두가지
• (left, upper, right, lower)
• (left, upper, width, height)
• Image Operations
• array(Image.open(’images/empire.jpg’).convert(’L’)) 
• 불러온 image 객체를 배열로 변환
• Displaying Images
• contour(im, origin=’image’)
• 밝기 구간을 나눠서 보여줌
• Image Histogram
• hist(im.flatten(), 128) 
• flatten(): 2차원 배열을 1차원 배열로 바꿈
• 해당 값을 가지고 있는 픽셀이 몇개인지 보여줌(a distribution of pixel values) 
• Array Image Representation
• print im.shape, im.dtype # (800, 569, 3) uint8
• im이 Image 객체의 배열일 경우
• (width, height, depth)
• Pixel Value Transforms
• im2 = 255 - im
• 흑백 반전
• im4 = 255.0 * (im/255.0)**2 
• pixel value를 제곱함(밝은 부분을 더 밝게 보여줌)
• Histogram Equalization
• Flattens the histogram so that all intensities are as equally common as possible. (histogram의 분포를 고르게 함)
• def histeq(im, num_bins=256)
• cdf = imhist.cumsum() # cumulative distribution function
• histogram의 누적분포함수를 이용하여 normalize -> 원래 이미지에 linear interpolation
• 밝기조정기능(너무 밝거나 어둡게 찍힌 사진을 적당하게 바꿀 수 있음)
• 하지만 화질구지가될수있음
• Image Filtering
• f(x, y) * h(x, y) = g(x, y) 
• 어떤 n*n patch(=kernal=mask)를 가지고 원본 image에 convolution함
• correlation operator, convolution operator가 있음
• Padding
• filtering을 할 경우 가생이에 예외상황이 발생함(convolution할 픽셀값이 존재하지 않는 문제)
• 따라서 padding을 설정해줌 (zero padding, wrap padding, clamp padding, mirror padding등)
• 패딩을 설정해서 하나의 이미지로 만들어서 convolution할수도 있고 아니면 그때그때 값을 가져와서 convolution할 수도 있다(memory issue임)
• Blurring Images
• 보통 가우시안 커널을 사용
• 시그마 값이 클 수록 블러효과 증가
• Image Derivative
• = Image gradient
• gradient angle = arctan2(Ix, Iy)
• Filter 종류: Prewitt/Sobel/Gaussian 등등
• 투디 linear filter는 separable함(n*n => (n*1)*(1*n))
• 나눌 수 있으면 무조건 나누어 하는 것이 빠름(n^2 operations > 2n operations)
• morphology
• binary image로 만드는것(모양이 중요)
• convert(’L’): Luminance
• original/dilation(확장)/erosion(축소)/majority(kernel 내에 max(|0|, |1|))/opening(erosion->dilation)/closing(dilation->erosion)
• connected components
• 4-neighbor(상하좌우)/8-neighbor(+대각선)
• 구하는 방법
• two-pass algorithm: horizontal run -> connect vertically adjacent runs
• recursive algorithm
• distance transform
• 중심축 구할때 사용
• forward sweep: 왼쪽과 위의 픽셀을 보고 둘중에 작은거 선택
• backward sweep: 오른쪽 + 아래 + (자신의 픽셀 + 1)을 보고 작은것 

• Origin of Edges
• edge: discontinuity가 존재하는 부분
• surface normal discontinuity/depth discontinuity/surface color discontinuity/illumination discontinuity
• human boundary detection과 최대한 비슷하게 하는것이 목표
• edge의 재정의: intensity의 rapid한 변화가 발생하는 부분 -> gradient operator를 이용
• 실제 data에는 noise가 많기 때문에 smoothing을 먼저 한다
• canny edge detector
• 여러 방향으로 잘라본 후 기울기가 가장 큰것을 선택
• hysteresis thresholding
• local max에서 시작해서 양쪽 방향을 따라 진행
• threshold: edge의 최소 기준
• threshold를 두개 설정 
• Thigh, Tlow: Thigh에서 시작하여 Tlow까지만 따라감
• scale selection
• gaussian filtering의 정도
• 요즘은 가능할 경우 다 딥러닝으로 함. 속도가 중요할 경우 빼고
• Line Detection
• successive approximation
• 두 점을 골라서 line을 만듬 -> 두 점 사이의 점들에서 line까지의 거리를 잼 -> 모든 거리가 threshold보다 작을 때까지 가장 먼 점을 찾아 두개로 나눔
• hough transform
• 어떤 이미지에서 x, y를 지나는 모든 line을 r, 세타 좌표계에서 나타냄 -> voting
• 문제점: 시간 + 메모리(3d가 넘어가면 좀 힘들어짐), 짧은 edge는 detection이 어려움
• 해결책: 모든 line말고 실제 edge와 비슷한 방향의 line만 고려

• 서로 다른 이미지(e.g. 다른 각도에서 같은 장소를 찍은 사진)에서 대응되는 점/지역을 찾는 것
• invariant local feature
• geometric invariance: translation, rotation, scale … => 회전, 이동, 확대/축소 등을 감안하여 판단(회전하더라도 같은 feature가 뽑힘)
• photometric invariance: brightness, exposure, contrast => 밝기, 노출, 대비를 감안하여 판단
• advantages of local features
• locality: robust to occlusion and clutter
• distinctiveness: should differentiate a large set of images(장점보다는 local feature가 가져야 할 덕목…)
• quantity: hundreds of thousands in a single image(많을수록 좋음)
• efficiency: real-time performance 
• generality
• what makes a good feature?
• uniqueness: 한 이미지 내에서 unique해야 한다. 나랑 비슷한 feature가 많으면 좋은 feature라고 할 수 없음
• 그럼 uniqueness는 어떻게 판단하는가? 이미지를 다 scan할 수는 없잖아
• 근처에서 shift해서 비슷한게 나올 경우 x. 안나올 경우 좋은 feature
• corner detection: compare the changes of pixels by summing up the squared differences(SSD)
• 2차원에서 나오는 두 eigenvector는 서로 수직임
• n차원에서 eigenvector는 n개 => 모두 수직
• Shi-Tomasi corner detector: 람다 마이너스를 기준으로 corner를 판단
• Harris and Stephens: 더 복잡한 공식
• harris는 scale invariant하지 않음(왜냐하면 patch 사이즈가 바뀌니까) + translation invariant함
• gaussian filtering을 할 경우에는 rotation invariant함
• 가장 적절한 scale을 찾는 방법
• scale을 바꿔가면서 local maximum cornerness response를 가지는 scale을 찾음!
• 하지만 시간이 너무 많이 걸림
• automatic scale selection
• FAST
• 어떤 점을 중심으로 반지름이 r인 원을 그림 -> 중심에서 원의 둘레까지의 벡터가 r^2만큼 생김 -> 벡터들의 밝기가 연속적으로 몇개 이상일 경우 corner라고 판단
• 빠름
• SIFT
• very popular “high-end” detection/ description algorithm
• high-end: 오래 걸림
• 하나의 물체를 다른 각도에서 찍었을 때는 어느정도 이상이면 잘 안됨(3d invariant)
• 시그마가 다른, 가우시안 처리된 이미지의 차 -> Difference of Gaussian(DOG)
• 라플라시안 함수랑 비슷하게 생겨먹음 => 비슷한 효과를 얻을 수 있음
• MOPS(Multiscale Oriented Patches)
• 다양한 scale에서 방향을 고려해서 뽑음
• 잘안됨
• SURF
• Speed-Up Robust Features
• image를 integral image로 만들어서 계산 -> computation time 감소
• 커널사이즈에 시간이 영향 받지 않음(계산 열여섯번 하는건 항상 같음) -> scale space building을 할 필요가 없음
• Binary Descriptors
• pixel value를 이용하지 않고 두 value의 대소만 비교함
• BRIEF, BRISK, ORB
• 정확도가 중요할 경우: SIFT, SURF, KAZE
• 속도가 중요할 경우: BRIEF, ORB
• feature matching(패치 비교)
• ncc: normalized cross-correlation
• one-sided
• 각각의 i에 대해서 어떤 j와 가장 잘 맞는지
• two-sided
• one-sided + 각각의 j에 대해서 어떤 i와 가장 잘 맞는지

• 2d image transformations
• translation, euclidean, similarity, affine, projective
• forward warping
• 원본 이미지를 그대로 warp하는 것
• 확대할 경우 비어있는 픽셀이 발생하는 등 문제가 생김
• inverse warping
• f의 역함수 이용
• linear interpolation
• 결과로 정수가 아닌 값이 나올 경우 가장 가까운 pixel을 선택
• DoF(Degree of Freedom)
• 해당 transformation을 표현하기 위해 필요한 parameter 개수
• svd(singular value decomposition)
• A=USV^T
• A: n*m, U: n*m, S: n*m, V^T: m*m
• U는 orthonormal, S는 diagonal(대각선 빼고 0)
• feature를 모두 쓸 수 없음. outlier/noise가 있을 때 결과가 제대로 안나옴
• RANSAC(Random Sample Concensus)
• 잘못된 feature(outlier)를 거르기 위함
• 여러개의 feature중 랜덤으로 샘플을 뽑아서 여러번 맞추어 보고 inlier(outlier의 반댓말. 일치하는 feature를 의미)의 갯수가 최대가 되는 p를 구함
• 93쪽: h.o.t = high order term은 무시한다
• Levenberg-Marquadt Algorithm(LM)
• 에러가 감소하는 방향으로 움직일 때 step size를 줄여줌 => minimum을 지나쳐버리는 경우인 overshooting을 방지
• Summary: noise-free data의 경우 DLT, outlier/noise를 filter해야 할 경우 RANSAC, 추가적으로 optimization이 필요할 경우 robust norm

• camera: 빛을 재는 도구
• cx, cy => center 좌표
• 사람 눈의 focal length는 대략 50mm
• focal length가 길면 화각이 감소 -> 좁은 범위를 정밀하게 측정
• 짧으면 화각 증가 -> 넓은 범위
• crop body: 필름보다 작은 ccd -> 같은 렌즈라도 작은 범위가 찍힘
• full body: 필름만한 ccd
• camera intrinsics: 카메라 자체의 parameter(focal length, image center등)
• camera extrinsics: 카메라의 위치
• pinhole camera에서 pinhole이 너무 클 경우 빛이 너무 많아서 흐릿함. 너무 작을 경우 빛의 파동성때문에 회절이 일어나서 흐릿함
• 렌즈가 필요한 이유: 빛의 양을 키우기 위함, 한 점에서 출발한 빛을 정확히 한 점으로 모을 수 있음
• 단점: 거리가 정확히 맞지 않으면 정확히 한 점으로 모아지지 않음 => circle of confusion
• depth of field: pinhole camera에는 없는 개념. 렌즈가 있기 때문에 생긴 개념임
• lens model의 geometrical aberrations
• distortion
• spherical aberration
• astigmatism
• coma
• chromatic aberrations: 여러 파장의 빛이 들어올 경우 모두 굴절률이 다르기 때문에 발생

• 한 물체에 대한 여러장의 이미지를 통해 해당 물체에 대한 structure를 알아냄
• Triangulation, P3P, Epipolar Geometry
• Triangulation: 두 장 이상의 이미지가 있고, 카메라의 pose(Rt), image(2d)에서의 물체의 pixel 좌표가 주어졌을 때 해당 물체의 3d 공간에서의 위치를 알아냄
• P3P: 3개의 3차원 좌표 + 좌표들의 image에서의 좌표가 주어졌을 때 카메라의 pose를 알아냄
• Epipolar Geometry: 두개의 카메라가 3d 공간의 좌표를 관찰
• epipolar plane: 3d공간상의 세 점(3d공간의 한 좌표, 카메라 1의 위치, 카메라 2의 위치)을 포함하는 평면

• stereo rectification
• original image pair에서의 epipolar lines를 horizontally & vertically correspond 하도록 이미지 자체를 transform함
• disparity(시차)
• 두 카메라에서부터 무한대의 거리에 있는 물체에 대한 두 카메라의 disparity는 0
• 항상 0이상의 값을 가짐
• depth estimation
• 빛을 직접 쏘는지 여부에 따라 active/passive로 나뉨
• time-of-flight의 경우 빛을 쏘니까 active 방식
• stereo의 경우 passive
• lens array(integral imaging)
• 한 점을 통과하는 빛을 capture하는 pinhole camera와 달리 평면을 지나는 모든 빛(light field)을 capture함 => focus를 자유롭게 바꿀 수 있음
• normal sensor
• surface의 normal을 구할 수 있음
• structured light
• 가장 많이 쓰이는 기술. stereo 원리와 비슷하지만 카메라 하나에 projector 하나를 사용한다는 점
• baseline(카메라-projector간 거리)이 넓을수록 측정할 수 있는 depth range가 깊어짐
• time-of-flight
• 빛을 쐈을 때 ~ 반사되어 돌아올 때까지의 시간을 계산하여 거리를 도출해냄
• kinect

• image 내에서 해당 object가 있을 확률이 가장 높은 곳을 선택
• mean-shift algorithm
• search window의 mean계산 -> 계산한 mean을 중심으로 search window를 옮김 -> converge 할 때까지 반복
• camshift
• window size도 조절
• tracking vs detection
• tracking: time-continuous estimation of object states
• detection: finding the targets from scratch in a given scene
• prediction-correction
• 이전까지의 object tracking한 결과를 이용해서 해당 object가 어디에 있을 지 prediction한 후 현재 상태를 반영하여 correction함
• kalman filtering
• estimates the internal states of a linear dynamic system from a series of noisy measurements
• 기계등 다른 분야에서 많이 씀
• particle filtering
• condensation: particle filtering의 implementation 중 하나

—

• spectral clustering
• cluster마다 크기가 어느정도 일정하기 때문에 배경이 필요 이상으로 쪼개질 수 있음
• minimum cut
• normalized cut

• PCA(Principal Component Analysis) & FLD(Fisher Linear Discriminant)
• Generative model: 타겟으로 최적의 모델을 만듦
• Discriminative model: classifier를 학습하여 타켓을 구분함
• PCA: orthogonal linear transform. the greatest variance by any projection of the data comes to lie on the first coordinate, the second greatest on the second coordinate, and so on
• FLD: linear discriminant analysis
• maximizes the distinctness between classes of data
• approximation(PCA, max. variance) vs. classification (LDA)
• AdaBoost
• 여러개의 weak classifier(vertical/horizontal half plane)를 합쳐 하나의 final classifier를 만듬
• Cascaded Classifier
• 10배 빠름 - only positive examples are considered이기 때문

• algorithms that try to mimic the brain
• activation functions
• sigmoid, ReLU, Leaky ReLU, tanh, Maxout, ELU
• sigmoid: 미분가능, x의 domain이 무한함 하지만 vanishing gradient problem 발생
• Deep NN
• hidden layer가 여러개