[논문 코드 리뷰] CoOp 코드 간단 분석

논문 Learning to Prompt for Vision-Language Models을 읽고, CoOp 기법들이 코드에서 어떻게 구현이 되었는지, 간단히 분석할 예정입니다.

보시고 피드백도 자유롭게 주셨으면 좋겠습니다!

📜 논문 분석 먼저 보기

[Paper Review] CoOp :: Learning to Prompt for Vision-Language Models

※ 위 링크를 누르면 게시글로 이동합니다.

🦾 CoOp 기법이 반영된 코드 단순 분석

KaiyangZhou의 CoOp open code : https://github.com/KaiyangZhou/CoOp/

📁CoOp/trainers/coop.py > ⚙️class PromptLearner : CLIP 모델의 prompt 부분을 학습 가능하게 만들고, 각 클래스에 맞는 prompt를 생성

📁CoOp/trainers/coop.py > ⚙️class CustomCLIP : 이미지 인코더와 텍스트 인코더, prompt_learner를 포함한다. 이미지와 프롬프트를 통해 생성된 텍스트 feature 사이의 매칭을 수행한다.

📁CoOp/trainers/coop.py > ⚙️class CoOp : CoOp의 방법론을 구현한 class이다.