[AI] 키워드/용어 정리 for research

 

ㅇ Closed-Model vs OSS Model

• Closed-Model : 저작권이 있는 (상용의) 모델
• OSS Model : Open Source Software 모델로, 저작권이 없는 제 3자 가공이 가능한 모델

 

ㅇ Matrix Factorization (MF)

• 천 시스템에서 사용되는 CF (collaborative filtering) 알고리즘 중 하나의 클래스로, 사용자와 아이템의 상호작용을 두 개의 낮은 차원의 직교행렬 곱으로 분해하여 나타낸다.
• 사용자와 아이템간의 관련성이 높을수록 두 포인트간의 내적값이 크다.

 

ㅇ CLM vs MLM

• Causal Language Model : 토큰 시퀀스에서 다음 토큰 예측을 위해 현재 이전의 토큰들에만 접근 가능한 방식으로 학습하여, 문장의 흐름이 자연스럽다. (GPT) - [참조]
• Masked Language Model : 토큰 시퀀스의 일부를 Masking하고 (Noising) 주변 토큰으로부터 해당 토큰을 예측하는 방식으로 학습하여, 분류 문제에 좋은 성능을 보인다. (BERT)

 

ㅇ Large Action Model (LAM)

• 복잡한 Task에 대한 추론과 수행(carry out)을 실행(action)으로 옮길수 있는 능력을 가진 인공 지능 (또는 모델)
• 예시) CES 2024에서 선보인 래빗 R1
• 참조

ㅇ Referring / grounding

• Refering : 모델에 질의하는 과정에서 참조가능한 글 또는 이미지 등을 별도 제공하거나, 참조할 부분을 표시한 것
  • (Refering Task 예시 : OCR, icon recognition, widget classification)
• Grounding :추상적인 컨셉이나 정보를 실-세계 데이터나 Context와 연결짓는 과정

ㅇ Distillation (모델 증류 방법)

• Teacher & Student Model

ㅇ Self Detection / Calibration

• Self Detection : 모델이 출력한 결과를 모델 스스로 검증하고, 필요하다면 질/답을 수정 또는 재시험하는 구조 (예, Think Twice)
• Calibration : 출력된 모델의 답변과 feature를 기반으로 평가 Module을 사용해 정확도를 측정하는 (일반적인) 구조

ㅇ Self Reasoning

• Prompting 기술, 추론 기술 등 (예, few-shot, CoT)
• (참고) Inference VS Reasoning
  • Inference : 단순히 학습된 모델에 그대로 데이터를 입력해 결과를 처리하는 과정
  • Reasoning : 사람이 문제를 해결할 때와 유사하게, 학습된 모델이 보다 좋은 결과를 낼 수 있도록 논리적인 처리 과정을 추가한 예측 방법

ㅇ Alignment

• 사람의 선호도와 유사하게 추론/결과가 나오도록 조정하는 기술/방법을 의미

ㅇ Self-enhancement bias

• 동일 모델에 의해 생성된 답변을 더욱 선호하는 편향적인 특성을 의미
• (심리학에서는) 자신이 하는 일에 있어서 부정직인 부분 보다는 긍정적인 부분만 생각하고 잘 될 거라는 편향된 믿을을 가지는 현상