deepseek-v3-jax, 190줄로 읽는 DeepSeek V3 구조
-
トレンド
- 11-16
- 105 회
- 0件
deepseek-v3-jax는 DeepSeek V3의 핵심 구조를 JAX 190줄로 재구현한 학습용 오픈소스다. 문맥 정보를 압축하고 전문가 신경망을 고르는 원리를 작은 모델로 살펴볼 수 있다. 맥북 학습 결과와 재현 자료를 제공하지만, 실제 연산 최적화는 일부 생략했다.
deepseek-v3-jax는 DeepSeek V3의 핵심 구조를 JAX(수치 계산과 자동 미분을 돕는 도구)로 작게 다시 만든 학습용 프로젝트다. 모델 구현은 주석과 빈 줄을 제외하면 190줄이며, 학습·데이터 준비 코드는 별도로 제공한다. Flax나 PyTorch 없이 배열과 함수로 구성해, 논문의 설계가 코드로 어떻게 이어지는지 따라가도록 했다.
문맥은 압축하고, 전문가는 골라 쓴다
MLA(문맥 정보를 압축해 저장하는 장치)는 글을 생성할 때 보관해야 하는 데이터를 줄인다. 이 구현에서는 토큰(글을 처리하는 단위) 하나, 층 하나당 저장하는 수가 480개에서 144개로 줄어든다. 다만 압축 정보를 명시적으로 풀어 쓰는 방식이라, 추론(학습한 모델로 결과를 만드는 과정)을 빠르게 하는 일부 최적화는 생략했다. MTP(여러 토큰을 예측하는 학습 방식)도 넣어, 바로 다음 토큰뿐 아니라 그다음 토큰까지 맞히도록 학습한다.
DeepSeekMoE는 ‘전문가’라 부르는 여러 신경망 중 일부를 골라 쓰는 구조다. 항상 작동하는 공통 전문가 하나에 더해, 토큰마다 후보 16개 중 4개를 선택한다. 특정 전문가에게 일이 몰리지 않도록 덜 쓰이는 전문가를 고르기 쉽게 만드는 보정값도 둔다. 이 보정은 전문가의 가중치가 아니라 선택에 영향을 주며, 별도로 작은 문장 단위 균형 손실도 남겨 뒀다.
2,000단계 실험에서 보정을 끄면 전문가별 배정 비율은 0.09~18.6%였지만, 켜면 5.7~6.9%로 고르게 분포했다. 같은 시점의 검증 손실은 각각 3.923과 3.921로 거의 같았다는 것이 프로젝트의 보고다. 다만 이 코드는 모든 전문가를 계산한 뒤 선택되지 않은 결과를 0으로 처리하므로, 일부 전문가만 실제로 계산하는 방식의 연산 절감까지 구현한 것은 아니다.
맥북에서 돌린 작은 모델, 재현할 때 볼 조건
이 모델의 매개변수는 3,620만 개로, 원래 DeepSeek V3의 6,710억 개보다 훨씬 작은 규모다. 공개된 실험은 메모리 24GB인 맥북 에어 M5에서 추리소설 207권을 바탕으로 1만2,000단계를 약 2.6시간 동안 학습했다. 학습에 쓰지 않은 글로 측정한 검증 손실은 250단계의 5.02에서 최종 3.51로 낮아졌다.
기본 재현 환경은 애플 실리콘 맥과 Python 3.12이며, 리눅스의 AMD GPU와 CPU에서도 실행할 수 있다. 실제로 한 개발자는 페도라에서 RX 7600 XT 16GB로 처음부터 끝까지 실행한 프로젝트라며 긍정적으로 평가했지만, GPU 인식과 멈춤 문제를 피하려면 환경 설정 두 가지가 필요했다고 전했다. CPU에서는 더 작은 설정을 권하며, 이 설정은 몇 단계만 확인했을 뿐 끝까지 학습한 결과는 아직 없다.
v1.0 릴리스에는 학습을 마친 모델 파일과 실험에 사용한 정확한 데이터, 학습 기록이 함께 들어 있다. 따라서 직접 학습하지 않고 문장을 생성해 보거나, 같은 데이터로 실험을 다시 진행할 수 있다. 모델 파일은 불러올 때 코드를 실행할 수 있는 Python pickle 형식이므로 신뢰하는 출처의 파일만 열어야 한다.
코드는 MIT 라이선스로 공개됐으며, 학습 문헌은 미국 기준으로 저작권이 만료됐지만 다른 나라의 권리 상태는 다를 수 있다. 프로젝트는 스스로 강력한 언어모델이 아닌 구조 시연용이라고 설명하며, 사후 학습도 포함하지 않았다. 완성형 챗봇을 얻기보다는 문맥 압축과 전문가 선택이 어떻게 맞물리는지 직접 읽고 바꿔 보려는 개발자에게 더 쓸모 있는 출발점으로 보인다.