Jetson Orin AGX64 에 ollama를 올렸다. 사용 가능한 LLM 들을 다운 받아서 간단하게 성능들을 체크하고 있는데 생각보다 좋은 모델이 많다. 장난감 같았던 nano 나 nx 를 사용할 때와는 엄청 다르다. Jetson Orin AGX64는 64Gb 의 메모리를 RAM 과 VRAM으로 공유한다. 지금 사용가능한 RAM이 61Gb 이고 그중에 RAM으로 26mb 정도를 쓰고 있네. 8Gb 였던 nano 나 16Gb였던 nx 와는 많이 다른 느낌이다. 가장 좋은 점은 선택할 수 있는 모델이 많아졌다는 것이다. 2B 이하의 모델들만 찾아다니던 하이에나(?) 같았던 시절이여 안녕.!!! ㅎㅎㅎㅎㅎㅎㅎ 지금은 주로 7B 혹은 30B 모델들을 주로 사용한다. 다만.. 7B는 추론의 결과물이 아주..
