망중한 블로그

이전 연구 이전의 딥러닝 연구는 대안적인 결정을 고려하지 않고, input이 어떻게 하면 다른 output이 될지에 대해 가설상의 조정을 하지 않음 Contribution 1. input이 어떻게 바뀌면 다른 output이 나올지에 대해 어떤 영역을 정의해야하는지 computer vision system의 결정을 설명하려고 함 2. counterfactual explanation이 인간을 가르치는 것을 도와줄 수 있다는 것을 유저스터디를 통해 보여줌 저자들은 Counterfactual Visual Explanations를 위한 방법으로 다음과 같은 접근을 제안한다. 2.1. Minimum-Edit Counterfactual Problem Decomposition input Image : I, output..

Conv2d를 거친 결과는 (3, 3, 3, 3) 이라고 했을 때 (배치 수, 채널 수, 이미지 높이, 이미지 너비) 임

Model 파라미터 얼리기 model.named_parameters: 파라미터의 이름이 쭉 나옴 frozen = range(3, 60, 3) for i, (name, param) in enumerate(model.named_parameters): if i in frozen: param.required_grad = False

딥러닝 파이토치 교과서의 경우 torchtext가 0.8.0, 0.9.0 혹은 0.10.0 중 하나로 코드를 작성하신 것 같다. 그러나 안타깝게도 colab은 torchtext의 0.8.0, 0.9.0, 0.10.0 모두 지원하지 않는 다는 점이 문제다. (2023.06.07 기준) 이것 때문에 시계열 데이터 실습을 못하는건 너무 아깝다고 생각하여 375p [코드 7-4] ~ 379p [코드 7-10] 까지를 대신할 수 있는 코드를 작성하였다. 똑같이 IMDB데이터를 사용하였으므로 7-12부터는 책에있는 코드를 그대로 사용해도 가능할 것 같다. 1. https://www.kaggle.com/datasets/atulanandjha/imdb-50k-movie-reviews-test-your-bert?sele..

병목블록 (bottleneck block) 1X1 합성곱층의 채널 수를 조절하면서 차원을 줄였다 늘리것을 병목과 같다고 하여 병목블록 이라고 함 교통에서 차선이 3개에서 1개로 줄을 때 병목이 생긴다고 하는데, 이런 원리(?)를 차용한듯 싶음 아이덴티티 매핑 (Identity mapping = Shortcut = Skip Connection) 세 가지 모두 같은 말로 아래 그림의 + 기호를 의미함 입력 x가 어떤 함수를 통과하더라도 다시 x라는 형태(값이 아님)로 출력되도록 하는 것 stride의 크기를 조절하며 downsample(다운샘플)을 하기도 함 프로젝션 숏컷 (projection-shortcut) = 합성곱 블록 입력의 차원을 출력에 맞추어 변경해야 하는 것 위의 숏컷을 블록단위로 묶은 것을 ..

0. Abstract (번역) 적대적인 과정을 통해 생성 모델을 평가하는 새로운 프레임워크를 소개한다. 그 생성모델에서 우리는 동시에 두 가지 모델을 학습시켰다 : 생성모델 G (데이터 분포를 포착함) 그리고 구별하는 모델 D (샘플이 G로부터 온게 아니라 학습데이터로부터 왔는지에 대한 가능성을 측정). G에 대한 트레이닝 절차는 D가 실수를 할 확률을 최대화 한다. 이 프레임워크는 두명의 선수가 minmax게임을 하는 것에 해당한다. 독단적인 영역 함수인 G와 D에서, G는 트레이닝 데이터 분포와 D를 어디에서나 1/2이 되도록 근사(recovering)한다. G와 D가 multilayer perceptron에 정의되는 경우에, 전체 시스템은 backpropagtion에 의해 학습될 수 있다. Mark..

2. The Dataset - 256*256으로 나누기 위해 다운 샘플링 => 모델에서 원래 해상도를 맞춰줘야 하는가? 3. The Architecture 3.1. ReLU Nonlinearity - Relu를 사용한 이유. 속도가 빠르다. 큰 데이터 셋에 대하여 빠른 속도가 큰 영향을 미친다. - Non-saturating nonlinearity : 어떤 입력 x가 무한대로 갈 때 함수의 값이 무한대로 가는 것 e.g.) ReLU - saturating nonlinearity : 어떤 입력 x가 무한대로 갈 때 함수의 값이 어떤 범위 내에서만 움직이는 것 e.g.) sigmoid Saturating Nonlinearity가 non-Saturating Nonlinearity보다 느리다. (sigmoid,..

설명하기 위해 쓴 글은 아니며 혼자 공부하며 정리한 내용입니다. 좋은 자료 : https://welcome-to-dewy-world.tistory.com/108 1. Attention Is All You Need 좋은 기회로 ML Research 인턴을 할 수 있게 되었는데, 이래 저래 논문을 많이 볼거 같아서 아예 게시판을 하나 새로 팠다... 열심히 써야지... 논문... 화이팅...!!!!!! 내 인생도 화이팅!!!!!!!!! Attention I welcome-to-dewy-world.tistory.com https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65..

신경망 학습을 수행하는 과정을 전반적으로 설명하자면 다음과 같다. 예를 들어 어떤 사진이 숫자 5일 확률을 예측한다면, 1. 처음에 어떤 사진이 5일 확률을 아무렇게나 예측하는 초기값을 설정해준다. 이때 설정하는 초기값은 가중치, 편향이다. 2. 초기값이 얼마나 잘 맞췄는지를 계산해 주기 위해 활성화 함수를 통해 입력값이 출력값을 활성화 시키는지를 판별하고(시그모이드), 출력을 확률(소프트맥스)로 바꿔준다. 3. 정답데이터와 2에서 계산한 확률을 비교하여 얼마나 정답에 가까운지를 구하고 싶다. 이를 위해 2에서 계산한 확률의 좋고 나쁨의 점수(손실함수)를 계산할 것이다. 4. 그 후 할 일은 좋고 나쁨의 점수를 최솟값으로 만들어야 한다. 그래야 제일 좋은 값이다. 지금 함수 내에서 우리가 어디 있는지 정..

"문과여도 상관없다 Tensorflow 딥러닝 AI 기초부터 실무까지" 수학을 못하는 나에게 매우 매력적으로 다가왔던 강의 제목. 모든 강의를 다 따라하며 진행했는데, 정말 쉽게 딥러닝 주요 이론을 한 번 쭉~실습하며 훑을 수 있다. 딥러닝이 그래서 도대체 뭔데? 하는 정도의 입문자에게 추천한다. 들으면 딥러닝 생각보다 별거 아니네? 하는 느낌을 일시적으로 가질 수 있다. + 코딩애플님은 정말 난사람이다....