1GB 메모리 TV 박스·옛 아이패드에서 160억 매개변수 언어모델 돌리기
-
Trends
- 11-13
- 212 회
- 0
smolmaxxing은 TV 박스, 2013년형 iPad Air처럼 쓸 수 있는 메모리가 1GB 안팎인 기기에서 가능한 한 큰 언어모델을 돌려 보는 실험 프로젝트예요. llama.cpp를 고쳐 기기 맞춤 연산 코드와 저장장치 스트리밍을 더했고, 모든 속도는 실제 기기에서 잰 값이라 저사양 기기의 한계를 가늠하는 자료로 쓸모가 있어요.
주요 기술적 특징
- 실측한 두 기기. 샤오미 TV Box S 3세대(쓸 수 있는 메모리 약 1GB)와 2013년형 iPad Air(약 700MB)에서 시험했어요. TV 박스는 일상용 Qwen3.5-2B를 초당 7.7토큰(모델이 글을 만드는 단위), 아이패드는 1비트 모델 Bonsai-1.7B를 초당 24~26토큰으로 돌려요.
- 160억 매개변수 모델까지. 두 기기 모두 Ling-mini-2.0(16B)을 돌렸어요. TV 박스는 초당 5.1토큰, 아이패드는 2.6~4.5토큰이에요. 비결은 MoE(전문가 혼합, 토큰마다 모델 일부만 쓰는 구조)예요. 자주 쓰는 '전문가'만 메모리에 두고 나머지는 필요할 때 플래시 저장장치에서 읽어 와요. 다음 층에 쓸 것도 미리 불러 둬요.
- 칩에 맞춘 연산 코드. 1비트 조회표 방식 커널, Cortex-A55용 2비트·3값 형식을 따로 만들었어요. 내적 명령이 없는 아이패드의 A7 칩용 버전도 있어요. 작은 모델에서 거의 안 쓰는 어휘 출력 부분을 잘라 메모리도 아꼈어요.
- 사용 조건. 모든 작업은 llama.cpp 위의 패치예요. 그래서 배포된 모델 파일은 원래 llama.cpp로는 열리지 않아요. TV 박스는 루팅 없는 안드로이드 14에서 돌지만, 아이패드는 탈옥한 iOS 12가 필요해요.
- 라이선스. 코드는 MIT예요. 모델 가중치는 각자의 라이선스를 따르고, 평가용 위키백과 발췌문은 CC BY-SA 4.0이에요.
개발자들의 반응
- 실용성 질문이 가장 많았어요. 작은 모델이 실제 일에 쓸모 있느냐는 물음에, 제작자는 지금은 재미와 호기심 수준이라고 인정했어요. 다만 고객 데이터로 미세조정한 1~2B 모델은 좁은 작업에서 가능성이 보였다고 했어요.
- 모델 선택에 대한 비판. 한 개발자는 Qwen이 큰 모델을 줄인 형태라 실제 작업에서 무너진다고 지적했어요. 속도보다 도구 호출 능력과 반복 출력 문제가 더 중요하다는 의견이에요.
- AI가 만든 결과물이라는 논쟁. 요즘 AI 에이전트에게 한 번 시키면 될 일이라는 반론이 나왔어요. 제작자는 Claude를 썼다고 밝혔어요. 다만 160개 가까운 실험으로 탐색 범위를 좁히는 방법론이 핵심이라고 답했어요.
- 비슷한 실사용 경험. 한 개발자는 구형 씬 클라이언트의 내장 그래픽에서 Qwen3.5 0.8B를 초당 5토큰으로 돌렸다고 전했어요. 아직 맡길 만한 작업은 찾지 못했다고 덧붙였어요.
- 쓰임새 제안. 음성 인식·합성, 실시간 로그 요약처럼 범위가 좁은 일에 맞다는 의견이 있었어요. 제작자도 다음 목표로 인터넷 없이 쓰는 회의 녹취 기기를 꼽았어요.
기술적 의미와 한계
이 프로젝트의 가치는 완성된 도구보다 측정 기록에 있다고 봐요. 실패를 포함한 160개 실험이 공개돼 있어서, 저사양 ARM 기기에서 무엇이 통하고 안 통하는지 확인할 수 있어요. 플래시 스트리밍은 특정 기기에 묶이지 않고 메모리보다 모델이 큰 리눅스·안드로이드 기기 어디서나 쓸 수 있다고 해요.
한계도 분명해요. 속도는 나오지만, 이 크기의 모델이 실제 작업을 해낼 수 있는지는 제작자 스스로도 아직 아니라고 봐요. 패치된 llama.cpp가 꼭 필요하고, 아이패드는 탈옥해야 해요. 플래시를 계속 읽을 때 저장장치 수명이나 발열이 어떤지는 자료에서 확인되지 않아요. 시험한 기기도 아직 두 대뿐이에요.