망중한 블로그

이미지 시각화 기법 Feature Map 시각화 LIME, Filter Visualization과 같이 모델이 입력 이미지에 어떻게 반응하는지 '은닉층'을 조사하는 방법이다. 하지만 은닉층이 깊어질 수록 해석력이 떨어진다는 단점을 가진다. Heatmap 시각화 LRP는 딥러닝 모델의 결과를 역추적해서 입력 이미지에 히트맵을 출력. 블랙박스가 데이터의 어느 곳을 주목하는지 표시할 수 있기 때문에 오인의 가능성이 적음. 참고 문헌 : https://velog.io/@sjinu/%EA%B0%9C%EB%85%90%EC%A0%95%EB%A6%AC-LRPLayer-wise-Relevance-Propagationhttps://angeloyeo.github.io/2019/08/17/Layerwise_Relevance_..

CS231n 12강. Visualizing and Understanding 듣기!!! Input Image를 모델이 어떻게 분류했는지 visualization하는 방법 Occlusion Experiment[Zeiler & Fergus 2013] Input Image의 어느 부분이 이미지 분류에 큰 영향을 미치는지 알아봄. 회색상자를 씌웠을 때 코끼리로 분류할 확률이 낮아지면 그 부분이 중요하다는 뜻임. 회색상자는 계속 이동함. 사람이 잘 이해하게 하는 방법

딥러닝 모델을 이해하기 위해 CNN의 필터들이 어떻게 생겼는지, Input Image에서 모델의 성능에 미치는 부분이 어디인지, 특정 클래스의 activation을 최대화 하는 이미지 생성이란 무엇인가에 대해 알아보고자 한다. 0. Vision CNN에 공부하다보면 한 번씩은 들어봤을 법한 고양이 실험. - 각기 다른 부분의 뉴런이 각기 다른 특징을 인식한다. - 대뇌피질에서 가까운 세포들은 가까운 물체를 처리한다. 1. Filter Edge Detection - Edge pixels : 영상 내 특정한 픽셀 주변의 밝기 값이 급격하게 변하는 픽셀 - Edges : 엣지 픽셀들의 연속된 집합 edge 감지법 : 미분을 통해 변화량을 구하면 유난히 변화량이 큰 부분이 있다 => edge검출 - 왜 역 ta..

불순도(Impurity) 와 엔트로피(Entropy) 설명이 아주 잘 나온 블로그가 있다. https://computer-science-student.tistory.com/60 불순도(Impurity)와 엔트로피(Entropy) 불순도(Impurity) 불순도란 다양한 범주(Factor)들의 개체들이 얼마나 포함되어 있는가를 의미한다. 쉽게 말하면 여러 가지의 클래스가 섞여 있는 정도를 말한다. 반대로 순수도(purity)는 같은 클래스 computer-science-student.tistory.com Decision Tree 분할의 적합성 Decision Tree(이하 DT)에서는 주어진 데이터 집합을 가장 적합한 기준으로 분할해야 하는데, 어떻게 적합하게 분할할 것인가에 대한 기준이 필요하다. 분할의..

이전 연구 이전의 딥러닝 연구는 대안적인 결정을 고려하지 않고, input이 어떻게 하면 다른 output이 될지에 대해 가설상의 조정을 하지 않음 Contribution 1. input이 어떻게 바뀌면 다른 output이 나올지에 대해 어떤 영역을 정의해야하는지 computer vision system의 결정을 설명하려고 함 2. counterfactual explanation이 인간을 가르치는 것을 도와줄 수 있다는 것을 유저스터디를 통해 보여줌 저자들은 Counterfactual Visual Explanations를 위한 방법으로 다음과 같은 접근을 제안한다. 2.1. Minimum-Edit Counterfactual Problem Decomposition input Image : I, output..

Conv2d를 거친 결과는 (3, 3, 3, 3) 이라고 했을 때 (배치 수, 채널 수, 이미지 높이, 이미지 너비) 임

Model 파라미터 얼리기 model.named_parameters: 파라미터의 이름이 쭉 나옴 frozen = range(3, 60, 3) for i, (name, param) in enumerate(model.named_parameters): if i in frozen: param.required_grad = False

딥러닝 파이토치 교과서의 경우 torchtext가 0.8.0, 0.9.0 혹은 0.10.0 중 하나로 코드를 작성하신 것 같다. 그러나 안타깝게도 colab은 torchtext의 0.8.0, 0.9.0, 0.10.0 모두 지원하지 않는 다는 점이 문제다. (2023.06.07 기준) 이것 때문에 시계열 데이터 실습을 못하는건 너무 아깝다고 생각하여 375p [코드 7-4] ~ 379p [코드 7-10] 까지를 대신할 수 있는 코드를 작성하였다. 똑같이 IMDB데이터를 사용하였으므로 7-12부터는 책에있는 코드를 그대로 사용해도 가능할 것 같다. 1. https://www.kaggle.com/datasets/atulanandjha/imdb-50k-movie-reviews-test-your-bert?sele..

병목블록 (bottleneck block) 1X1 합성곱층의 채널 수를 조절하면서 차원을 줄였다 늘리것을 병목과 같다고 하여 병목블록 이라고 함 교통에서 차선이 3개에서 1개로 줄을 때 병목이 생긴다고 하는데, 이런 원리(?)를 차용한듯 싶음 아이덴티티 매핑 (Identity mapping = Shortcut = Skip Connection) 세 가지 모두 같은 말로 아래 그림의 + 기호를 의미함 입력 x가 어떤 함수를 통과하더라도 다시 x라는 형태(값이 아님)로 출력되도록 하는 것 stride의 크기를 조절하며 downsample(다운샘플)을 하기도 함 프로젝션 숏컷 (projection-shortcut) = 합성곱 블록 입력의 차원을 출력에 맞추어 변경해야 하는 것 위의 숏컷을 블록단위로 묶은 것을 ..

0. Abstract (번역) 적대적인 과정을 통해 생성 모델을 평가하는 새로운 프레임워크를 소개한다. 그 생성모델에서 우리는 동시에 두 가지 모델을 학습시켰다 : 생성모델 G (데이터 분포를 포착함) 그리고 구별하는 모델 D (샘플이 G로부터 온게 아니라 학습데이터로부터 왔는지에 대한 가능성을 측정). G에 대한 트레이닝 절차는 D가 실수를 할 확률을 최대화 한다. 이 프레임워크는 두명의 선수가 minmax게임을 하는 것에 해당한다. 독단적인 영역 함수인 G와 D에서, G는 트레이닝 데이터 분포와 D를 어디에서나 1/2이 되도록 근사(recovering)한다. G와 D가 multilayer perceptron에 정의되는 경우에, 전체 시스템은 backpropagtion에 의해 학습될 수 있다. Mark..