Jetson Orin AGX64 에 ollama를 올렸다. 사용 가능한 LLM 들을 다운 받아서 간단하게 성능들을 체크하고 있는데 생각보다 좋은 모델이 많다. 장난감 같았던 nano 나 nx 를 사용할 때와는 엄청 다르다. Jetson Orin AGX64는 64Gb 의 메모리를 RAM 과 VRAM으로 공유한다. 지금 사용가능한 RAM이 61Gb 이고 그중에 RAM으로 26mb 정도를 쓰고 있네. 8Gb 였던 nano 나 16Gb였던 nx 와는 많이 다른 느낌이다. 가장 좋은 점은 선택할 수 있는 모델이 많아졌다는 것이다. 2B 이하의 모델들만 찾아다니던 하이에나(?) 같았던 시절이여 안녕.!!! ㅎㅎㅎㅎㅎㅎㅎ 지금은 주로 7B 혹은 30B 모델들을 주로 사용한다. 다만.. 7B는 추론의 결과물이 아주..
정석 재설치 순서 (황금 레시피)네가 생각한 순서를 가장 안전하고 완벽한 순서로 다시 정리해 줄게. 이 순서대로만 하면 절대 실패 안 해.1단계: 인프라 기초 공사 (k3s 설치)가장 먼저 도로를 깔아야지.Master (NX): k3s 서버 설치Worker (AGX들): k3s 에이전트 설치 & 연결 확인 (kubectl get nodes)2단계: 입주 청소 및 방 배정 (스크립트 실행) ⭐여기가 핵심! 건물을 지었으면 방부터 만들고 문을 열어놔야(권한 777) 해.각 호기(101~104)에 들어가서 아까 만든 docker_sync_XXX.sh 스크립트 실행!이러면 /mnt/ssd/share/ai_data/... 폴더들이 싹 생기고 권한도 777로 딱 잡힘.3단계: 가구 들여놓기 (Docker Image..
Jetson Orin 시리지는 자신들만의 리눅스를 사용한다. 일반적인 Ubuntu Linux에 여러가지 자신들의 독특한 리눅스로 변형해서 딱 고것만 사용토록 해 뒀다. 그래서 여러 ai 프로그램들을 실행할 때 제대로 설치가 안되는 경우가 허다하다. 물론 보편적으로 사용하는 ollama 나 open-webui 같은 경우에는 공식적으로 Jetson Orin 용이 있기도 하고, 파워 유저(이렇게 표현하는 게 맞는지 모르겠지만)들이 만들어 두신 docker 들이 존재하기도 하다. 그렇지 않은 경우에는 내가 내 Jetson 에서 내가 직접 docker 를 만들어야 한다. 물론 나는 docker 를 만들 줄 모른다. 구글 Gemini 가 주는 여러가지 명령어들을 복사해서 붙이는 형식으로 작업을 진행했다. 그러다..
00. 아.. ai .. 깊은 빡침.. 나름의 ai 클러스터를 구성해 보려고 어설프게 나섰던 게 일을 너무 키웠다. 손익이 아니라 엄청난 손해를 기록해 두어야겠다. 싶어서.. Nowadays 10월의 주제로 잡았다. 손해를 기록해 보자면1. micro SD 를 무려 4개나 샀고, 각 micro SD 가격이 무려 5만원씩이니 20만원 떡 사먹었다. 2. 무엇보다 그 중 2개는 어디다 뒀는지 몰라서 10만원 그냥 증발한 상태다. (아.. 나머지 2개도 없어짐..)3. SSD를 5개 샀다. 그 중 3개만 사용가능해서 2개는 남았다. (이건 NAS에 쓰면 되긴 하지만.. 하아.. ) 이것도 20만원 공중분해..4. Jetson Mate 는 Jetpack 6.2.1 설치가 불가능해서 30 만원 공중분해.. 5..
한동안 재미있게 놀았던 재지리가 중단되나 싶었다. 내가 가진 장비들에 비해 새롭게 등장하는 ai 들의 무게가 무거워져서 내가 가진 장비들로는 운용이 쉽지 않다는 판단이 들어서였다. 가장 간단한 해결책을 들자면 그냥 지금 장비 다 처분하고 좋은 새 장비를 들이면 된다. 물론, 이것도 계획에는 있다. 다만 새로운 길로 가 보는 것은 언제나 즐거운 일이기에 새로운 길을 택했다. 2025.09.18 - [순식간에] - 아.. 재지리가 점점 커지고 있다. 아.. 재지리가 점점 커지고 있다.태어나서 처음으로 .. 해외 직구 구매 대행도 시켜봄.. 잘하면 내일 도착가능.. 빨리 전원 확보 해야 함..enduser.kr처음에 Jetson mate 를 봤을 때는 "와, 이거다!" 라는 생각을 했다. 덜컥 구매부터 ..
[재지리] Jetson orin nano super #01 - 구입부터 설치까지 (feat. Gemini)[재지리] Jetson orin nano super #02 - 설치부터 세팅까지 (feat. Gemini)[재지리] Jetson orin nano super #02-1 브라우저 실행 안될 때 (feat. Gemini)[재지리] Jetson orin nano super #03 Xrdp로 원격접속하기 (feat. Gemini) - Now 보통 나의 포스팅 시작 준비는 이렇다. 구글의 ai Gemini 와 같이 포스팅을 하는 즐거움이 쏠쏠하다. 이렇게 명령 같은 부탁을 하면 내가 하는 것보다 훨씬 나은 솜씨로 전혀 오타없이 더 빠르게 정리해준다. 지금이야 대부분의 ai 들이 앱을 핸들링 할 수 없지만 그..
[재지리] Jetson orin nano super #01 - 구입부터 설치까지 (feat. Gemini)[재지리] Jetson orin nano super #02 - 설치부터 세팅까지 (feat. Gemini)[재지리] Jetson orin nano super #02-1 브라우저 실행 안될 때 (feat. Gemini) - 현 포스팅 젯슨 오린 나노에 제트팩을 설치하는 최신 버전이 제트팩 6.2 버전이다. snap 이 업그레이드 되었다. 문제는 업그레이드 된 snap 이 제트팩 6.2 의 커널을 더 이상 지원하지 않는 문제가 생겼다. 이 불일치가 가져온 가장 큰 문제는 리눅스의 대표적인 브라우저인 chromium, firefox 가 작동을 멈춘다는 것이다. Chromium 은 리눅스용 크롬이라고 생..
시리즈 순서[재지리] Jetson orin nano super #01 - 소개 (feat. Gemini)[재지리] Jetson orin nano super #02 - 설치부터 세팅까지 (feat. Gemini) - 현포스팅[재지리] Jetson orin nano super #02-1 브라우저 실행 안될 때 1. 설치에 필요한 것들 - 당연히 나노 제품이 필요하다. (구매 관련은 이전 포스팅 참조)- OS를 설치 할 때 나노에 삽입할 마이크로 sd (64기가 이상(필수) ~ 256기가 이하(추천) - 마이크로 sd 리더기 2. 설치에 필요한 프로그램과 파일들 - 마이크로 sd 에 올릴 이미지 파일 (jp62-orin-nano-sd-card-image.zip) 압축한 용량이 11Gb 를 넘는 거대한 ..
시리즈 순서[재지리] Jetson orin nano super #01 - 소개 (feat. Gemini) - 현포스팅[재지리] Jetson orin nano super #02 - 설치부터 세팅까지 (feat. Gemini)[재지리] Jetson orin nano super #02-1 브라우저 실행 안될 때 아~ 재지리! ㅋㅋㅋ 정확하게 알고 있네. 맞아, 부산이나 경남 쪽에서 쓰는 경상도 사투리야.네가 말한 '장난질'이랑 뜻이 거의 똑같다고 보면 돼. 좀 더 구체적인 느낌을 설명하자면, '쓸데없이 뭘 자꾸 만지작거리거나, 가만히 안 있고 뭔가 일을 벌이는(?) 그런 장난' 있지? 막 심각한 건 아닌데 좀 귀찮거나 어이없는 장난질. 그걸 '재지리'라고 해.(feat. Gemini) 일단 내 블로그를 오..
