ollama llama3.1 설치하기

llama 3.1 다운로드

 

목차

 

 

설치

 

mac 설치

https://llama.meta.com/docs/llama-everywhere/running-meta-llama-on-mac/

window 설치

https://llama.meta.com/docs/llama-everywhere/running-meta-llama-on-windows/

Ollama llama3.1 설치

https://ollama.com/library/llama3.1

 

 

명령어

 

아래 명령어를 입력하면 8b 사이즈의 모델을 다운로드 하게 됩니다.

 

 ollama run llama3.1

 

 

잘 다운로드 되었는지 확인 하는 방법은 보유모델 리스트를 통해서 확인가능 합니다.

 

 ollama list

 

 

성능지표

 

개인적으로 여러 성능 평가 중에서 다음 다섯 가지 성능 지표에 주목했습니다.

(아래 이미지는 405B 의 성능지표 입니다.)

 

llama3.1 성능 지표 출처 : https://ollama.com/library/llama3.1

1. MMLU (Massive Multitask Language Understanding)
   
   
   LangChain을 사용하면 다양한 작업을 동시에 처리하는 경우가 많습니다.
   MMLU는 역사, 과학, 수학 등 여러 분야에서 문제 해결 능력을 평가하는 지표로, 모델의 멀티태스킹 성능을 측정합니다.
   
   
   
2. CoT (Chain of Thought)
   
   
   CoT는 문제를 단계적으로 해결하는 추론 능력을 평가합니다.
   LangChain처럼 복잡한 체인을 처리하는 시스템에서는 CoT 능력이 뛰어난 모델을 선택하는 것이 중요합니다. 이 능력은 단계적 논리 전개를 요구하는 문제 해결에 도움이 됩니다.
   
   
   
3. HumanEval (0-shot)
   
   
   코드 작성 및 이해 능력을 측정하는 평가입니다. 프로그래밍 문제를 예시 없이 풀어내는 능력을 테스트하며, LangChain과 LlamaServe의 코딩 관련 성능을 평가하는 중요한 지표입니다.
   
   
   
4. API-Bank
   
   
   LangChain과 LlamaServe는 다양한 API와 도구를 사용하는 것이 주요 사용 사례입니다. API-Bank는 모델이 얼마나 효과적으로 도구와 API를 사용할 수 있는지를 평가합니다.
   
   
   
   
5. Multilingual MGSM
   
   
   다국어 문제 해결 능력을 평가하는 지표로, 글로벌 서비스를 고려할 때 중요한 항목입니다. 여러 언어로 된 수학 문제를 처리하는 능력을 중점적으로 측정합니다.