Objective

PLAi LLM을 활용한 Aspect-Based Sentiment Analysis task 수행

타당한 평가기준에 근거한 성능 개선

• 본 프로젝트는 실제 적용 및 배포가 완료된 것이 아닌, 가상 데이터를 활용해 운용 가능성을 확인하기 위한 실험적인 프로젝트입니다. 따라서 현행 서비스 운용 여부와 관련이 없습니다.

Motivation

• 아래와 같은 문제점들을 확인하여 제안 승인 하 본 프로젝트를 진행하게 되었습니다.

1. 상품을 분류하는 카테고리 체계는 n-depth로써, 하위 카테고리에 속한 상품은 자연스럽게 상위 카테고리의 정보를 포함하는 구조입니다. 하지만 현재 만들어진 속성분석(ABSA로 후술) 체계는 이러한 점이 반영되지 않아, 유사 혹은 하위 상품임에도 서로 관련성이 없는 속성 체계를 지닌 경우가 있습니다.
2. 상품 카테고리별 positive, negative 속성 리스트를 따로 구축한 상황인데, positive 속성에는 없는 내용이 negative 속성에는 있는 등 상품의 좋은 부분과 나쁜 부분을 양단하여 분석하기 어렵다는 문제가 있습니다.
3. 추후 특정 task에 fine-tuning 하더라도, 현재 속성 리스트를 정리하여 instruction을 reformat하는 것이 우선이라고 판단했습니다.

따라서 기존 속성 체계를 중립적으로 정리하는 것을 우선과제로 삼았고, (1) 상품 카테고리 체계를 반영한 (2) 중립적인 속성 기반으로 데이터를 분석해보았는데, 전체적인 성능이 크게 향상된 것을 확인하였습니다. 때문에 우선 (3) 해당 속성이 긍정적으로 언급되었는지, 부정적으로 언급되었는지 확인하고, (4) 언급 여부에 따라 속성의 긍정적인 형태 혹은 부정적인 형태를 출력하는 알고리즘을 구현해 보았습니다.

• Pseudo Code

중립 속성 추론을 통한 실제 성능 향상 정도

• 평가 기준
  • 정답 데이터가 존재하지 않아 지도학습(SFT) 이 불가한 상황으로 파악했습니다.
  • 성능을 정량적으로 확인하기 위해 환각(Hallucination) 및 안정성(Consistency) 측면을 고려한 성능평가 기준을 정립했습니다. 아래 모든 평가기준은 lower the better입니다.
  • Broken file format: 출력 결과의 파일 포맷이 깨지는 비율
  • Aspect hallucination: 제시하지 않았던 속성을 새로 만드는 현상의 비율
  • Phrase hallucination: 입력 데이터에 존재하지 않는 데이터를 새로 만들어낸 비율
• 실험 데이터
  • 실험을 위해, 30개의 랜덤 카테고리에 대해 평가별 자료를 수집하거나, 평가 정보가 주어지지 않는 경우에서도 평가하였습니다.
• 기존 방법 (대조군)
  • 기존에 성능이 제일 높았던 프롬프트를 사용했습니다.
  • 규칙기반 후처리 이후 텍스트를 기준으로 Broken file format 을 측정하였습니다.
• 실험 결과

  • 평가 정보별로 텍스트가 그루핑된 경우의 분석 결과

    	기존 방법	제안 방법
    Broken file format	5%	2%
    Aspect hallucination	65 ~ 77%	37 ~ 50%
    Phrase hallucination	0 ~ 11%	0 ~ 8%

  • 평가 정보별로 텍스트가 그루핑되지 않은 경우의 분석 결과

    	기존 방법	제안 방법
    Broken file format	10%	20%
    Aspect hallucination	62%	43%
    Phrase hallucination	10%	20%