sunsal A Tech Blog

Graph Convolutional Networks for Text Classification

Liang Yao, Chengsheng Mao, Yuan Luo. Graph Convolutional Networks for Text Classification. In AAAI, 2019. 본 논문은 GCN을 Text Classification에 적용한 논문이다. 이를 위해 문서를 Graph로써 어떻게 정의할지를 소개하고, 성능 비교를 통해 기존 방법과 GNN의 차이를 설명한다. Graph Convolution Networks...

Longformer: The Long-Document Transformer

Iz Beltagy, Matthew E. Peters and Arman Cohan. Longformer: The Long-Document Transformer. arXiv:2004.05150, 2020. Intro 본 논문은 기존 Transformer기반 모델의 한계를 설명하며, 긴 텍스트에 대해서 $O(N)$의 복잡도로 임베딩하는 방법을 제안한다. Transformer에서 사용되는 self-attention은 아래와 같이 디코딩 시 전체 입력 텍스트를...

ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators

K. Clark, M. Luong, Q. V. Le, and C. D. Manning. Electra: Pre-training text encoders as discriminators rather than generators. In ICLR, 2020. Method 본 모델은 GAN에서 아이디어를 착안하여 generator G와 discriminator D로 구성된다. Generator 먼저 Generator $G$는 기존의 MLM...

Grad-CAM

Grad-CAM은 모델이 왜 이러한 결과로 prediction 했는지 이유를 “gradient” 기반으로 visualization 하는 논문이다. 본 포스팅에서는 Grad-CAM을 알아보기에 앞서, Weakly-supervised learning와 CAM의 관점에서 Grad-CAM의 의미를 분석해보고자 한다. Weakly-Supervised Learning M. Oquab, L. Bottou, I. Laptev, and J. Sivic. Learning and transferring...