후추의코딩일기

1. Support Vector Machines(SVM) - 두 클래스 사이의 마진을 최대화하면서 동시에 support vectors만을 이용해 결정 경계를 정의- a를 보면 여러 개의 hyperplane 후보가 있음- b에서 가운데 굵은 선이 실제로 선택된 최적의 마진 경계. - b에서 원으로 크게 표시된 점들은 서포트 벡터. 마진에 가장 가까운 데이터 포인트들 - 따라서 max margin = min w^Tw - VC 차원 : 분류기가 몇 개의 점을 어떤 라벨링으로든 분리할 수 있는지를 나타냄- 예를들어 아래와 같은 경우 마지막 경우는 모든 라벨링을 분리할 수 없으므로 VC는 3- VC 차원이 클수록 테스트 에러가 커질 수 있음- 마진 γ가 클수록, 즉 분류 경계로부터 데이터가 멀리 떨어져 있을수..

머신러닝 2025. 4. 20. 15:21

1. Heuristic Regularization- overfitting을 막는 방법 중 하나- Regularization은 너무 복잡한 곡선을 못 만들게 제약을 거는 것- Weight decay는 가장 널리 쓰이는 정규화 방법 중 하나로, 모델 파라미터가 너무 커지지 않도록 제약을 줌- 부드러운 기울기를 선호- bias-variance decomposition을 볼 때, 정규화를 하면 편차가 줄어들어 테스트 성능이 향상- 학습 알고리즘(w)를 제약하여 더 간단한 h를 선택 2. Mathematical Approach - 정규화를 수학적으로 유도하여 접근 예정- 위의 식 loss가 최소가 되도록 하려면 미분값이 0이되는 w를 찾기 - 모델의 복잡도를 Constraining Weights으로 줄이기1..

머신러닝 2025. 4. 19. 19:52

1. Function Approximation- 머신러닝의 목표는 훈련 데이터에 정확히 맞추는 것이 아니라, 새로운 데이터에도 잘 작동하는 일반적인 규칙을 학습하는 것- 어떤 함수가 이 데이터를 생성했는지 모르지만, 우리는 그것을 근사하고자 함- 녹색 곡선이 실제로 데이터를 생성한 함수(true function)- 우리는 녹색 곡선을 모르지만, 그걸 근사하는 모델을 학습해서 새로운 x에 대해 t를 예측하고 싶음- M = 0,1일 때 학습이 되지 않음(underfitting)- M = 3일 때 적절하게 패턴을 따라감- M = 9일 때에는 데이터에 과하게 맞춰짐(overfitting), 에러는 0이지만 true 함수랑 너무 달라서 일반화 불가- 모델은 단순한 함수로 근사하는 것이 오히려 더 좋을 수 있음- ..

머신러닝 2025. 4. 19. 14:36

1. Linear Models- 입력 변수들을 선형 조합으로 결합한 신호를 만듬. s = w^Tx- 선형 회귀는 이 신호 자체를 출력값 y로 사용. 실제 값을 근사하는 모델- 선형 분류는 신호를 0 기준으로 임계값 처리하여 s>=0이면 1, s- 예를들어 심장마비 발생 여부를 예측하고자 할 때, 입력 데이터로 혈압, 나이, 체중 등이 있음- 단순한 이진 분류는 현실적으로 불가능. 발생한다/안 한다는 정확하게 예측할 수 없음- 따라서 출력 y를 0에서 1 사이의 연속적인 값으로 설정하는데 이런 모델을 로지스틱 회귀라고 함 2. Logistic Regression- 이진 분류 문제에 사용되지만, 0~1 사이 확률 형태의 출력값을 제공- 정확히 단정 지을 수 없는 문제에 대해 가능성을 예측할 때 적절한 모델..

머신러닝 2025. 4. 18. 21:55

1. Learning- 에이전트가 작업 수행 능력을 향상시키는 과정- Supervised Learning: 입력-출력 쌍(label) 예제를 보고 입력 → 출력 매핑 함수 학습 - Semi-supervised Learning: 라벨 있는 데이터는 일부만 있고, 대부분은 라벨 없음. 라벨 없는 데이터도 활용해서 학습 - Unsupervised Learning: 라벨 없이, 데이터 안에 숨어 있는 패턴을 스스로 발견 - Reinforcement Learning: 보상 또는 벌점을 받아가며 행동을 학습 2. Supervised Learning- 우리가 가지고 있는 건 입력-출력 쌍 (𝑥₁, 𝑦₁), ..., (𝑥ᴺ, 𝑦ᴺ) 으로 구성된 학습 데이터셋- 이때 각 𝑦ᵢ는 알 수 없는 함수 f(x) 에 ..

머신러닝 2025. 4. 18. 19:44

1. Notations- Zm​ = {0,1,...,m−1} : m으로 나눈 나머지의 집합- g mod p: g를 p로 나눈 나머지- Plaintext space = Ciphertext space = Z26 (알파벳 개수 26개) 2. ​Shift Cipher- 각 문자의 숫자값을 고정된 키 K만큼 이동시키는 암호 방식- Enc(K,x) = (x+K) mod26- Dec(K,Y) = (Y−K) mod26 - 가능한 공격 방법 : 1) Brute-force Attack : 가능한 키는 0 ~ 25 → 총 26가지밖에 없음 2) Known Plaintext Attack : 원문과 암호문을 쌍으로 알고 있을 때 키를 쉽게 계산할 수 있음 3. Affine Cipher- K = (α,β)는 키 쌍, α..

정보보호이론 2025. 4. 17. 20:21

1. Computer Security- 정보보호란 자동화된 정보 시스템에 대해 제공되는 보호로서, 정보 자원의 무결성(Integrity), 가용성(Availability), 기밀성(Confidentiality)을 유지하는 것이 목적- Confidentiality : 인가되지 않은 사용자에게 정보가 노출되지 않도록 보호- Integrity : 정보가 허가되지 않은 방식으로 변경되지 않도록 보장- Availability : 인가된 사용자가 필요할 때 시스템이나 데이터를 사용할 수 있도록 보장- 추가적인 보안 요구사항에는 Authenticity (진위성), Accountability (책임추적성) 등이 있음- Adversary : 시스템을 공격하려는 주체 - System Resource : 보호해야 할 데이터..

정보보호이론 2025. 4. 17. 15:50

1. Decision Tree Classifiers- 우리가 알고싶은 함수를 트리로 표현하고 학습하는 방법- 예시) PlayTennis : "오늘 테니스를 칠까?"라는 질문에 대해 주어진 정보를 바탕으로 Yes/No 예측- 트리의 구성 요소 : 1) internal node : 어떤 속성 Xi를 테스트함 ex. Outlook 2) branch : 속성 Xi의 값 하나에 해당하는 분기 ex. Outlook=Sunny 3) leaf node : 최종적인 예측 결과 Y ex. PlayTennis=No 2. Decision Tree 학습 문제 정의1) 입력 : 특성 벡터와 정답 레이블의 쌍 { x^(i), y^(i) } *여기서의 입력은 머신러닝 알고리즘(모델)의 입력값으로, 학습을 하는 ..

머신러닝 2025. 4. 16. 02:04