망중한 블로그

딥러닝 파이토치 교과서의 경우 torchtext가 0.8.0, 0.9.0 혹은 0.10.0 중 하나로 코드를 작성하신 것 같다. 그러나 안타깝게도 colab은 torchtext의 0.8.0, 0.9.0, 0.10.0 모두 지원하지 않는 다는 점이 문제다. (2023.06.07 기준) 이것 때문에 시계열 데이터 실습을 못하는건 너무 아깝다고 생각하여 375p [코드 7-4] ~ 379p [코드 7-10] 까지를 대신할 수 있는 코드를 작성하였다. 똑같이 IMDB데이터를 사용하였으므로 7-12부터는 책에있는 코드를 그대로 사용해도 가능할 것 같다. 1. https://www.kaggle.com/datasets/atulanandjha/imdb-50k-movie-reviews-test-your-bert?sele..

병목블록 (bottleneck block) 1X1 합성곱층의 채널 수를 조절하면서 차원을 줄였다 늘리것을 병목과 같다고 하여 병목블록 이라고 함 교통에서 차선이 3개에서 1개로 줄을 때 병목이 생긴다고 하는데, 이런 원리(?)를 차용한듯 싶음 아이덴티티 매핑 (Identity mapping = Shortcut = Skip Connection) 세 가지 모두 같은 말로 아래 그림의 + 기호를 의미함 입력 x가 어떤 함수를 통과하더라도 다시 x라는 형태(값이 아님)로 출력되도록 하는 것 stride의 크기를 조절하며 downsample(다운샘플)을 하기도 함 프로젝션 숏컷 (projection-shortcut) = 합성곱 블록 입력의 차원을 출력에 맞추어 변경해야 하는 것 위의 숏컷을 블록단위로 묶은 것을 ..

0. Abstract (번역) 적대적인 과정을 통해 생성 모델을 평가하는 새로운 프레임워크를 소개한다. 그 생성모델에서 우리는 동시에 두 가지 모델을 학습시켰다 : 생성모델 G (데이터 분포를 포착함) 그리고 구별하는 모델 D (샘플이 G로부터 온게 아니라 학습데이터로부터 왔는지에 대한 가능성을 측정). G에 대한 트레이닝 절차는 D가 실수를 할 확률을 최대화 한다. 이 프레임워크는 두명의 선수가 minmax게임을 하는 것에 해당한다. 독단적인 영역 함수인 G와 D에서, G는 트레이닝 데이터 분포와 D를 어디에서나 1/2이 되도록 근사(recovering)한다. G와 D가 multilayer perceptron에 정의되는 경우에, 전체 시스템은 backpropagtion에 의해 학습될 수 있다. Mark..

주성분 분석(PCA: Principal Component Analysis) 인공지능에서 오버피팅을 없애주는 가장 확실한 방법 아반투님의 동영상을 캡쳐하며 정리한 내용입니다. (추천) https://www.youtube.com/watch?v=lhRmMjgXwW0 PC(principal component) : 고유값 람다에 고유벡터를 곱한 실수배$$ PC score(1st PC에 사영시킨 값)는 내적을 하면 구할 수 있음! PCA의 의미 1. 차원축소 ( 보통 차원이 줄면 overfitting 문제가 해결이 됨 ) 2. z(호감) = w1(가중치)x(외모) + w2(가중치)y(성격)로 새로운 변수를 생성할 수 있음

2. The Dataset - 256*256으로 나누기 위해 다운 샘플링 => 모델에서 원래 해상도를 맞춰줘야 하는가? 3. The Architecture 3.1. ReLU Nonlinearity - Relu를 사용한 이유. 속도가 빠르다. 큰 데이터 셋에 대하여 빠른 속도가 큰 영향을 미친다. - Non-saturating nonlinearity : 어떤 입력 x가 무한대로 갈 때 함수의 값이 무한대로 가는 것 e.g.) ReLU - saturating nonlinearity : 어떤 입력 x가 무한대로 갈 때 함수의 값이 어떤 범위 내에서만 움직이는 것 e.g.) sigmoid Saturating Nonlinearity가 non-Saturating Nonlinearity보다 느리다. (sigmoid,..

설명하기 위해 쓴 글은 아니며 혼자 공부하며 정리한 내용입니다. 좋은 자료 : https://welcome-to-dewy-world.tistory.com/108 1. Attention Is All You Need 좋은 기회로 ML Research 인턴을 할 수 있게 되었는데, 이래 저래 논문을 많이 볼거 같아서 아예 게시판을 하나 새로 팠다... 열심히 써야지... 논문... 화이팅...!!!!!! 내 인생도 화이팅!!!!!!!!! Attention I welcome-to-dewy-world.tistory.com https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65..

input box가 삐져 나올때는 아예 모든 div 태그에 대해 box-sizing: border-box를 해주면 됨 div, input, textarea { box-sizing: border-box; }

float 태그를 쓰다보면 이렇게 밑에 둥둥 뜨는 경우가 있는데 이럴 때에는 float으로 쓴 태그 밑에 빈 div 태그를 만들고 clear:both해주면 된다.

프로젝트 폴더 생성 프로젝트 폴더에서 우클릭 -> 서비스 -> 폴더에서 새로운 터미널 생성 리액트 프로젝트 생성 sudo npm install -g create-react-app create-react-app 프로젝트명 리액트 파일 미리보기 vscode-terminal 에서 npm start

1. 평균 이 수식은 Error라는 뜻을 가짐 따라서 위의 수식은 평균(에러)의 값이 0 일 때를 의미한다. 2. 기대값 위의 수식은 기대값(Y)의 값을 의미한다.