Horangi: W&B Korean LLM Leaderboard 3

weight & bias 팀에서 한국어 AI 모델 성능을 비교하는 리더보드 툴을 10월31일에 공개했습니다.

해당 글(레퍼런스링크 참고)을 읽고 "Horangi: W&B Korean LLM Leaderboard 3" 에 대한 소개 글을 읽으면서 LLM 을 평가하는데 규격, 프로세스화 하는데 엄청 고도화된 툴이라고 생각이 들었습니다.

개인적으로는 얼마전 참가했던 LLM 관련 컨퍼런스에서 한국어를 다루는 것에 대한 니즈와 어려움을 한 발표를 통해서 알게되었습니다.

한국인으로서(?) 한국어를 사용하는 로직과 LLM 에 관심이 있다면 유용할 것 같습니다.

그래서 이 Horangi Leaderboard 가 무엇인지, 어떻게 평가가 이루어지는지, 그리고 기업이나 연구 기관에서 어떻게 활용할 수 있는지에 대해 레퍼런스를 간단하게 참고해서 기록합니다.

출처 : weight & bias

 

 

목차

 

 

 

 

Horangi: W&B Korean LLM Leaderboard 3

 

Horangi: W&B Korean LLM Leaderboard 3는 최신 한국어 LLM의 언어 이해 능력, 응용 능력, 그리고 AI 정렬(AI Alignment) 등 다양한 관점에서 성능을 종합적으로 평가하는 플랫폼입니다.

 

한국어로 구성된 여러 평가 항목을 통해, 각 언어 모델의 능력을 심층적으로 분석하며, 다양한 LLM들이 한국어에서 어떻게 작동하는지를 명확하게 보여줍니다.

 

 

평가 방식: 0-shot과 Few-shot 접근

 

Horangi 리더보드는 0-shot과 few-shot 평가 방식을 모두 사용합니다.

 

0-shot 평가는 모델이 사전 정보 없이 질문에 얼마나 잘 대답할 수 있는지를, few-shot 평가는 몇 가지 예제를 보고 문제를 풀 수 있는 능력을 평가합니다.

 

이 두 가지 평가 방식의 평균 점수를 통해 모델의 성능을 종합적으로 판단하게 됩니다.

 

이 평가 방법은 다양한 상황에서 언어 모델의 응답 품질을 잘 반영하도록 설계되었습니다.

W&B 테이블로 실시간 성능 비교

 

 

Horangi 리더보드의 또 다른 강점은 Weights & Biases(W&B)의 테이블 기능을 활용한 실시간 성능 비교입니다.

사용자는 평가된 모델들을 다양한 기준으로 비교할 수 있으며, 이를 통해 각 모델의 강점과 약점을 명확하게 파악할 수 있습니다.

 

 

 

기업과 연구기관을 위한 평가 데이터 활용

 

 

 

Horangi 리더보드는 평가 데이터를 비공개로 활용할 수 있는 옵션을 제공하여, 기업이나 연구 기관이 자체적인 LLM 평가를 수행할 수 있도록 지원합니다.

이를 통해 특정 도메인에 특화된 모델의 성능을 테스트하거나, 자체 데이터로 모델을 평가하고자 하는 사용자에게 매우 큰 도움이 됩니다.

 

 

 

팁! 리더보드 등록 및 LLM 모범 사례 백서 제공

Horangi: W&B Korean LLM Leaderboard 3는 최신 LLM들의 한국어 능력을 평가하는데 중요한 기준을 어떻게 정하고있는지 설명할 뿐만 아니라 LLM 에 대한 도메인 지식을 확장시키는데도 많은 도움이 되는 문서 입니다.

양도 생각보다 많아서 나중에 여유가 생기면 읽어봐야 될 것 같습니다.

 

 

레퍼런스 링크

 

https://wandb.ai/wandb-korea/llm-leaderboard3/reports/W-B-Korean-LLM-Leaderboard-v3--Vmlldzo5NTM4MjU0/?mkt_tok=MjYxLVFIUC04MjIAAAGWvOVIdu3HzVehmB27kEvKpPsQrZlTOXKeQmJLmepLE_ogcfl-slFnd0dH6HwlF4IwZkKHfEdlkReWFjbLC-_Zv3oqTitYR-XrFz64JZdD

 

 

AI 서밋

 

 

12월 10(화)~11(수) 에 코엑스에서 AI 서밋이 개최됩니다.

개인적으로 참여하고 싶었는데 시간이 되시는 분들은 참고해서 가보시면 도움이 되지않을까 합니다.

 

 

https://aisummit.co.kr/?mkt_tok=MjYxLVFIUC04MjIAAAGWvOVIdiF0zWqrt-1USlXorSfzgtEeyRiJJ8YzvYIKwWmSMIwr6tARQ0pwbQm0VnFv1_ek4A37ieUfNrJ97I_ByngzZG0Kf1r04Qed3mHY

Home »