지식 그래프, 프롬포트 튜닝 논문 2편 요약

CycleGT: Unsupervised Graph-to-Text and Text-to-Graph Generation via Cycle Training

https://arxiv.org/abs/2006.04702

CycleGT: Unsupervised Graph-to-Text and Text-to-Graph Generation via Cycle Training

이 논문은 지식 그래프와 자연어 처리에서 두 가지 중요한 작업인 그래프-텍스트(G2T) 변환과 텍스트-그래프(T2G) 변환에 관한 것입니다. 이 두 분야에서 사용할 수 있는 지도 학습 데이터는 수집이 어렵고 비용이 많이 들기 때문에 보통 수만 개 정도밖에 되지 않습니다. 예를 들어, WebNLG 2017 데이터셋은 전처리 후 18K 정도밖에 되지 않습니다. 이는 기계 번역과 같은 다른 작업에서 사용되는 수백만 개의 데이터보다 훨씬 적습니다. 따라서 G2T와 T2G를 위한 딥러닝 모델들은 훈련 데이터 부족 문제가 있습니다.

저자들은 CycleGT라는 비지도 학습 방법을 제안합니다. 이 방법은 완전히 비병렬적인 그래프와 텍스트 데이터로부터 부트스트랩할 수 있으며, 두 형태 사이에서 반복적으로 역번역(back translation)을 수행합니다. 역번역이란 한 형태에서 다른 형태로 번역한 후 다시 원래 형태로 번역하는 것을 말합니다. 예를 들어, 그래프에서 텍스트로 번역한 후 다시 텍스트에서 그래프로 번역하는 것입니다. 이렇게 하면 원래 형태와 비교하여 번역 오류를 줄일 수 있고, 모델의 일관성과 정확성을 향상시킬 수 있습니다.

WebNLG 데이터셋에서의 실험 결과, 저자들의 비지도 모델은 동일한 양의 데이터로 훈련된 여러 지도 모델과 성능이 비슷하게 나왔습니다. 또한 비병렬적인 GenWiki 데이터셋에서의 추가 실험에서 저자들의 방법이 비지도 기준 모델들 중 가장 좋은 성능을 보였습니다. 이것은 저자들의 프레임워크가 G2T와 T2G 분야에서 데이터 부족 문제를 극복하는 효과적인 접근법임을 입증합니다.

논문의 코드는 https://github.com/QipengGuo/CycleGT 에서 확인할 수 있습니다.

Neural Prompt Search

https://arxiv.org/abs/2206.04673

Neural Prompt Search

이 논문은 비전 모델의 크기가 Vision Transformer의 등장 이후로 급격히 증가하면서 발생한 문제를 해결하기 위한 방법을 제안합니다. 비전 모델의 크기가 커지면 다운스트림 데이터셋에 맞게 튜닝하는 것이 어렵고 비용이 많이 듭니다. 따라서 파라미터 효율적인 튜닝 방법들이 개발되었습니다. 예를 들어, Adapter나 LoRA는 모델의 일부 파라미터만 학습하고 나머지는 사전 학습된 상태로 고정합니다. VPT는 시각적 프롬프트 토큰을 추가하여 모델을 튜닝합니다.

하지만 적절한 튜닝 방법을 설계하는 것은 쉽지 않습니다. 다양한 디자인 선택지를 시도해봐야 하고, 각 다운스트림 데이터셋마다 맞춤형 디자인이 필요할 수 있습니다. 이 논문에서 저자들은 기존의 파라미터 효율적인 튜닝 방법들을 "프롬프트 모듈"로 보고, 각 다운스트림 데이터셋에 최적화된 프롬프트 모듈의 디자인을 신경망 구조 탐색(neural architecture search) 알고리즘을 통해 학습하는 NOAH(Neural prOmpt seArcH)라는 새로운 접근법을 제시합니다.

20개 이상의 비전 데이터셋에서 광범위한 실험을 수행한 결과, 

NOAH는 (i) 개별 프롬프트 모듈보다 우수하며, (ii) 좋은 Few-Shot 학습 능력을 가지며, (iii) 도메인 일반화 성능이 좋다는 것을 보여줍니다.

논문의 코드는 https://github.com/ZhangYuanhan-AI/NOAH 에서 확인할 수 있습니다.

 

---

정리

• CycleGT : 비지도 그래프-텍스트 및 텍스트-그래프 생성을 위한 순환 학습
• 주제 : 그래프-텍스트(G2T) 변환과 텍스트-그래프(T2G) 변환
• 방법: 비지도 학습 방법인 CycleGT사용
• 결과 : WebNLG와 GenWiki 데이터셋에서 지도 학습 모델과 비슷한 성능을 보임
• 코드: https://github.com/QipengGuo/CycleGT

GitHub - QipengGuo/CycleGT: code of CycleGT

 

• Neural Prompt Search: 다운스트림 데이터셋에 최적화된 프롬프트 모듈 디자인 학습
• 주제: 비전 모델 튜닝 및 파라미터 효율적 튜닝 방법
• 방법: 신경망 구조 탐색 알고리즘을 통한 NOAH(Neural prOmpt seArcH) 사용
• 결과: 20개 이상의 비전 데이터셋에서 개별 프롬프트 모듈보다 우수한 성능, 좋은 Few-Shot 학습 능력, 도메인 일반화 성능
• 코드: https://github.com/ZhangYuanhan-AI/NOAH

GitHub - ZhangYuanhan-AI/NOAH: Searching prompt modules for parameter-efficient transfer learning.