좋은 Local LLM 은 너무 많다.

Jetson Orin AGX64 에 ollama를 올렸다. 

사용 가능한 LLM 들을 다운 받아서 간단하게 성능들을 체크하고 있는데 생각보다 좋은 모델이 많다. 

 

장난감 같았던 nano 나 nx 를 사용할 때와는 엄청 다르다. 

 

Jetson Orin AGX64는 64Gb 의 메모리를 RAM 과 VRAM으로 공유한다. 

지금 사용가능한 RAM이 61Gb 이고 그중에 RAM으로 26mb 정도를 쓰고 있네. 

8Gb 였던 nano 나 16Gb였던 nx 와는 많이 다른 느낌이다. 

가장 좋은 점은 선택할 수 있는 모델이 많아졌다는 것이다. 

2B 이하의 모델들만 찾아다니던 하이에나(?) 같았던 시절이여 안녕.!!! ㅎㅎㅎㅎㅎㅎㅎ

 

지금은 주로 7B 혹은 30B 모델들을 주로 사용한다. 

다만.. 7B는 추론의 결과물이 아주 사알짝 아쉽다. 

필요한 내용에서 좀 부족한 느낌? 대화의 밀도가 떨어지는 느낌이다. 

 

30B 모델은 아무리 AGX64 라고 해도 좀 무거운 느낌이다. 

답변에 걸리는 시간도 긴 편이라고 하는 게 옳지 않을까 싶다. 

 

토르나 스파크를 쓴다면 이런 기분은 들지 않겠지. 

 

혹시나 하는 기대로 120B를 돌려본 적도 있는데 이건 진짜 언감생심이었다. 

 

그런 면에서 구글의 Local LLM gemma3 는 사용자의 니즈를 정말 잘 파악한 듯 하다. 

 

gemma3:12b - 와.. 7b, 8b 의 속도는 유지하되 내용의 밀도가 더 채워지는 느낌이다. 

gemma3:27b - 와.. 30b의 추론 능력에 속도 저하는 잘 느껴지지 않는.. 하아.. 대단히 잘 만든 느낌이다. 

 

물론 난 하나로 조져!! 라고 주장하는 gpt-oss : 20B 는 두 개를 하이브리드 한 느낌이다. 

 

좋은 Local LLM은 많다.