망중한 블로그

주성분 분석(PCA: Principal Component Analysis) 인공지능에서 오버피팅을 없애주는 가장 확실한 방법 아반투님의 동영상을 캡쳐하며 정리한 내용입니다. (추천) https://www.youtube.com/watch?v=lhRmMjgXwW0 PC(principal component) : 고유값 람다에 고유벡터를 곱한 실수배$$ PC score(1st PC에 사영시킨 값)는 내적을 하면 구할 수 있음! PCA의 의미 1. 차원축소 ( 보통 차원이 줄면 overfitting 문제가 해결이 됨 ) 2. z(호감) = w1(가중치)x(외모) + w2(가중치)y(성격)로 새로운 변수를 생성할 수 있음

2. The Dataset - 256*256으로 나누기 위해 다운 샘플링 => 모델에서 원래 해상도를 맞춰줘야 하는가? 3. The Architecture 3.1. ReLU Nonlinearity - Relu를 사용한 이유. 속도가 빠르다. 큰 데이터 셋에 대하여 빠른 속도가 큰 영향을 미친다. - Non-saturating nonlinearity : 어떤 입력 x가 무한대로 갈 때 함수의 값이 무한대로 가는 것 e.g.) ReLU - saturating nonlinearity : 어떤 입력 x가 무한대로 갈 때 함수의 값이 어떤 범위 내에서만 움직이는 것 e.g.) sigmoid Saturating Nonlinearity가 non-Saturating Nonlinearity보다 느리다. (sigmoid,..

설명하기 위해 쓴 글은 아니며 혼자 공부하며 정리한 내용입니다. 좋은 자료 : https://welcome-to-dewy-world.tistory.com/108 1. Attention Is All You Need 좋은 기회로 ML Research 인턴을 할 수 있게 되었는데, 이래 저래 논문을 많이 볼거 같아서 아예 게시판을 하나 새로 팠다... 열심히 써야지... 논문... 화이팅...!!!!!! 내 인생도 화이팅!!!!!!!!! Attention I welcome-to-dewy-world.tistory.com https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65..

1. 평균 이 수식은 Error라는 뜻을 가짐 따라서 위의 수식은 평균(에러)의 값이 0 일 때를 의미한다. 2. 기대값 위의 수식은 기대값(Y)의 값을 의미한다.

Indicator Function이란? 이런 수식이 있다고 쳐보자. 갑자기 I가 나와서 뜬금없을 것이다 ㅠㅠ 이때의 I는 Indicator function이라고 하고, 괄호 안의 값이 False이면 0, True이면 1을 내뱉는 함수이다. 따라서 만약 x1, x2의 값이 R3에 있다고 치면, 수식은 다음과 같이 전개될 수 있고 최종 sum은 C3가 된다. 출처 : https://youtu.be/xki7zQDf74I

신경망 학습을 수행하는 과정을 전반적으로 설명하자면 다음과 같다. 예를 들어 어떤 사진이 숫자 5일 확률을 예측한다면, 1. 처음에 어떤 사진이 5일 확률을 아무렇게나 예측하는 초기값을 설정해준다. 이때 설정하는 초기값은 가중치, 편향이다. 2. 초기값이 얼마나 잘 맞췄는지를 계산해 주기 위해 활성화 함수를 통해 입력값이 출력값을 활성화 시키는지를 판별하고(시그모이드), 출력을 확률(소프트맥스)로 바꿔준다. 3. 정답데이터와 2에서 계산한 확률을 비교하여 얼마나 정답에 가까운지를 구하고 싶다. 이를 위해 2에서 계산한 확률의 좋고 나쁨의 점수(손실함수)를 계산할 것이다. 4. 그 후 할 일은 좋고 나쁨의 점수를 최솟값으로 만들어야 한다. 그래야 제일 좋은 값이다. 지금 함수 내에서 우리가 어디 있는지 정..

"문과여도 상관없다 Tensorflow 딥러닝 AI 기초부터 실무까지" 수학을 못하는 나에게 매우 매력적으로 다가왔던 강의 제목. 모든 강의를 다 따라하며 진행했는데, 정말 쉽게 딥러닝 주요 이론을 한 번 쭉~실습하며 훑을 수 있다. 딥러닝이 그래서 도대체 뭔데? 하는 정도의 입문자에게 추천한다. 들으면 딥러닝 생각보다 별거 아니네? 하는 느낌을 일시적으로 가질 수 있다. + 코딩애플님은 정말 난사람이다....