후추의코딩일기

1. Joint Distribution과 Classifier- 전체 조합의 joint distribution P(C,H,W)를 학습한 후, 거기서 조건부 확률 P(W∣C,H)를 추출- 조합의 수가 너무 많아진다는 문제 발생 가능!- 예를들어 100개의 속성을 가지고 있으면 그 조합은 2^100 → 대부분의 조합은 학습 데이터에서 한 번도 관측되지 않음 → 학습이 불가능 - 그럼 어떻게 할까?- 확률 추정을 더 똑똑하게 하기 : 1) MLE : 관측된 데이터가 가장 잘 나올 수 있도록 만드는 파라미터(θ)를 고르는 방식 2) MAP : prior까지 고려해서 가장 그럴듯한 θ를 고르는 방식- joint distribution 표현을 간단하게 만들기 : 1) Naïve Bayes 모델 2. Con..

머신러닝 2025. 4. 15. 21:01

1. Bayes Decision Rule - 관측된 데이터 x가 주어졌을 때, 그것이 어떤 클래스 y = i에 속할 확률을 Bayes 정리로 계산해서,확률이 가장 높은 클래스를 선택하면 최적 분류가 가능 2. Classification 해결 단계 1) 특징 변환(input 정의) : 이미지를 숫자 벡터나 특정 특징(예: 귀 모양, 털 색 등)으로 바꿈 2) 모델 정의 : 사용할 모델 선택 3) 모델 학습 : 정규화 필요 4) 특징 선택 : 가장 유의미한 특징들만 남김 3. Supervised Learning(지도 학습)- 어떤 입력 데이터가 주어졌을 때, 정답(레이블)도 함께 제공되는 학습 방식- classification은 지도 학습에서 가장 대표적인 문제 유형 중 하나- 모델은 학습 과정에..

머신러닝 2025. 4. 15. 14:40

1. Estimating Probability(확률 추정)- 불확실한 결과를 가진 함수를 학습하는 알고리즘을 설계(ex. 주가 예측)- 학습 알고리즘에 사전 지식(prior)을 넣으면 더 똑똑하게 학습할 수 있음- 확률 모델의 핵심은 랜덤 변수들을 정의하고, 이 변수들에 대해 joint distribution을 만드는 것  2. Joint Distribution- 여러 개의 확률 변수들에 대해, 모든 조합이 동시에 일어날 확률을 정의- 예를 들어, A, B, C가 Boolean 변수(0 또는 1)일 때:  가능한 조합: 2^3 = 8가지 -> 각각의 조합에 확률을 부여한 게 바로 joint distribution- Joint Distribution 구성법 :   1) M개의 Boolean 변수 → 2^M..

머신러닝 2025. 4. 13. 23:36

1. Trial : 두 개의 동전을 순차적으로 던지는 실험을 생각하자. - 가능한 결과는 {HH, HT, TH, TT}- 문제: 두 동전이 같은 면이 나올 확률은? -> 0.5- discrete한 결과(값이 셀 수 있을 만큼 한정되어 있는 경우)가 나옴- 하지만 결과의 집합이 continuous 하다면?  2. Probability Space(확률 공간)- 확률 공간은 세 요소로 구성됨 (Ω, F, P)- Ω(오메가): 결과들의 전체 집합 (발생할 수 있는 모든 이벤트)- ℱ (파이): 사건의 집합(실제 발생하는 이벤트)- P: 확률 함수로 ℱ의 각 사건에 대해 확률(0~1 사이 실수)을 할당하는 함수- ℱ가 σ(시그마)-필드가 되기 위한 조건:   - 어떤 사건 A가 ℱ에 속하면, 그 여집합 Aᶜ도 ℱ..

머신러닝 2025. 4. 13. 18:35

* Semantic Segmentation *- 전체 이미지를 CNN에 한번만 통과시켜서 mask를 얻어내기- Fully convolutional : convolution layer만 가지고 네트워크 디자인  1) 마지막 feature map의 크기는 CxHxW (C는 클래스의 개수)  2) 마지막 feature map에서 argmax함수 사용 (제일 높은 클래스 스코어)- Fully convolutiond은 이미지의 resolution이 그대로라 연산이 매우 비쌈- 따라서 downsampling 후 upsampling 해주는 과정을 추가  * Upsampling *- Max Unpooling : 이전에 풀링되기 전의 위치를 기억해서 언풀링- Transposed Convolution : 겹치는 부분은 더..

인공지능 2024. 12. 19. 12:45

* Sequence to Sequence Model *- 연속된 데이터를 연속된 데이터로 바꿔주는 모델- input과 output의 길이는 달라도 됨- 예) 기계번역, 글 요약- RNN을 통해 Encoding- Decoding은 Encoder를 통해 나온 문맥벡터 c를 이용- sequence가 길어지면 앞쪽의 정보를 반영하기 어려워짐   * Attention *- Decoder의 각 스텝마다 새로운 conext vector를 사용- Encoder의 마지막 hidden state인 s0과 각 hidden state간의 alignment score를 구한게 e- e를 소프트맥스 함수에 통과시켜 a를 만듬 (h와 s사이의 가까운 정도를 확률로 표현)- 그렇게 만들어진 attention을 각 h와 곱해 다 더한..

인공지능 2024. 12. 19. 11:16

* RNN *- 동영상은 4D tensor (T x 3 x H x W)- RNN 네트워크 하나가 time 축마다 반복해서 나타남 - output layer에 Softmax 함수를 사용해 학습을 시킴   * LSTM *- RNN은 short term memory에만 잘 작동한다는 문제점 - 지난번 Cell state와 곱해지는 것은 forget gate- Cell state 후보군과 input gate가 곱해져서 나중에 cell state에서 더해짐

인공지능 2024. 12. 19. 02:49

* Input Data Normalization *- 이미지의 feature들이 다 다른 scale을 가지고 있으면 불안정하게 학습이 될 수 있음- 분포를 특정 바운더리 안에 있도록 하기 위함- scale에 대한 sensitivity는 낮춰주고 수렴은 더 빠르게 됨- 평균은 빼주고 표준편차로 나눠줌  * Feature Map Normalization *- 활성화 함수 전에, convolution 이후에 normaliztion layer를 깔아줌1. 각 미니배치에 대한 평균과 분산을 구해 normalization 해줌2. 훈련 과정에서는 미니배치 단위의 평균과 분산만 사용 3. 테스트 시에는 전체 트레이닝 데이터셋을 대상으로 정규화해야 함4. 이때 필요한 개념이 moving average(이동평균)5. 이..

인공지능 2024. 12. 19. 01:24