05 May 2020
Liang Yao, Chengsheng Mao, Yuan Luo. Graph Convolutional Networks for Text Classification. In AAAI, 2019. 본 논문은 GCN을 Text Classification에 적용한 논문이다. 이를 위해 문서를 Graph로써 어떻게 정의할지를 소개하고, 성능 비교를 통해 기존 방법과 GNN의 차이를 설명한다. Graph Convolution Networks...
22 Apr 2020
Iz Beltagy, Matthew E. Peters and Arman Cohan. Longformer: The Long-Document Transformer. arXiv:2004.05150, 2020. Intro 본 논문은 기존 Transformer기반 모델의 한계를 설명하며, 긴 텍스트에 대해서 $O(N)$의 복잡도로 임베딩하는 방법을 제안한다. Transformer에서 사용되는 self-attention은 아래와 같이 디코딩 시 전체 입력 텍스트를...
29 Mar 2020
K. Clark, M. Luong, Q. V. Le, and C. D. Manning. Electra: Pre-training text encoders as discriminators rather than generators. In ICLR, 2020. Method 본 모델은 GAN에서 아이디어를 착안하여 generator G와 discriminator D로 구성된다. Generator 먼저 Generator $G$는 기존의 MLM...
01 Apr 2018
Grad-CAM은 모델이 왜 이러한 결과로 prediction 했는지 이유를 “gradient” 기반으로 visualization 하는 논문이다. 본 포스팅에서는 Grad-CAM을 알아보기에 앞서, Weakly-supervised learning와 CAM의 관점에서 Grad-CAM의 의미를 분석해보고자 한다. Weakly-Supervised Learning M. Oquab, L. Bottou, I. Laptev, and J. Sivic. Learning and transferring...