deepseek-v3-jax, 190줄로 읽는 DeepSeek V3 구조

deepseek-v3-jax는 DeepSeek V3의 핵심 구조를 JAX 190줄로 재구현한 학습용 오픈소스다. 문맥 정보를 압축하고 전문가 신경망을 고르는 원리를 작은 모델로 살펴볼 수 있다. 맥북 학습 결과와 재현 자료를 제공하지만, 실제 연산 최적화는 일부 생략했다.

deepseek-v3-jax는 DeepSeek V3의 핵심 구조를 JAX(수치 계산과 자동 미분을 돕는 도구)로 작게 다시 만든 학습용 프로젝트다. 모델 구현은 주석과 빈 줄을 제외하면 190줄이며, 학습·데이터 준비 코드는 별도로 제공한다. Flax나 PyTorch 없이 배열과 함수로 구성해, 논문의 설계가 코드로 어떻게 이어지는지 따라가도록 했다.

문맥은 압축하고, 전문가는 골라 쓴다

MLA(문맥 정보를 압축해 저장하는 장치)는 글을 생성할 때 보관해야 하는 데이터를 줄인다. 이 구현에서는 토큰(글을 처리하는 단위) 하나, 층 하나당 저장하는 수가 480개에서 144개로 줄어든다. 다만 압축 정보를 명시적으로 풀어 쓰는 방식이라, 추론(학습한 모델로 결과를 만드는 과정)을 빠르게 하는 일부 최적화는 생략했다. MTP(여러 토큰을 예측하는 학습 방식)도 넣어, 바로 다음 토큰뿐 아니라 그다음 토큰까지 맞히도록 학습한다.

DeepSeekMoE는 ‘전문가’라 부르는 여러 신경망 중 일부를 골라 쓰는 구조다. 항상 작동하는 공통 전문가 하나에 더해, 토큰마다 후보 16개 중 4개를 선택한다. 특정 전문가에게 일이 몰리지 않도록 덜 쓰이는 전문가를 고르기 쉽게 만드는 보정값도 둔다. 이 보정은 전문가의 가중치가 아니라 선택에 영향을 주며, 별도로 작은 문장 단위 균형 손실도 남겨 뒀다.

2,000단계 실험에서 보정을 끄면 전문가별 배정 비율은 0.09~18.6%였지만, 켜면 5.7~6.9%로 고르게 분포했다. 같은 시점의 검증 손실은 각각 3.923과 3.921로 거의 같았다는 것이 프로젝트의 보고다. 다만 이 코드는 모든 전문가를 계산한 뒤 선택되지 않은 결과를 0으로 처리하므로, 일부 전문가만 실제로 계산하는 방식의 연산 절감까지 구현한 것은 아니다.

맥북에서 돌린 작은 모델, 재현할 때 볼 조건

이 모델의 매개변수는 3,620만 개로, 원래 DeepSeek V3의 6,710억 개보다 훨씬 작은 규모다. 공개된 실험은 메모리 24GB인 맥북 에어 M5에서 추리소설 207권을 바탕으로 1만2,000단계를 약 2.6시간 동안 학습했다. 학습에 쓰지 않은 글로 측정한 검증 손실은 250단계의 5.02에서 최종 3.51로 낮아졌다.

기본 재현 환경은 애플 실리콘 맥과 Python 3.12이며, 리눅스의 AMD GPU와 CPU에서도 실행할 수 있다. 실제로 한 개발자는 페도라에서 RX 7600 XT 16GB로 처음부터 끝까지 실행한 프로젝트라며 긍정적으로 평가했지만, GPU 인식과 멈춤 문제를 피하려면 환경 설정 두 가지가 필요했다고 전했다. CPU에서는 더 작은 설정을 권하며, 이 설정은 몇 단계만 확인했을 뿐 끝까지 학습한 결과는 아직 없다.

v1.0 릴리스에는 학습을 마친 모델 파일과 실험에 사용한 정확한 데이터, 학습 기록이 함께 들어 있다. 따라서 직접 학습하지 않고 문장을 생성해 보거나, 같은 데이터로 실험을 다시 진행할 수 있다. 모델 파일은 불러올 때 코드를 실행할 수 있는 Python pickle 형식이므로 신뢰하는 출처의 파일만 열어야 한다.

코드는 MIT 라이선스로 공개됐으며, 학습 문헌은 미국 기준으로 저작권이 만료됐지만 다른 나라의 권리 상태는 다를 수 있다. 프로젝트는 스스로 강력한 언어모델이 아닌 구조 시연용이라고 설명하며, 사후 학습도 포함하지 않았다. 완성형 챗봇을 얻기보다는 문맥 압축과 전문가 선택이 어떻게 맞물리는지 직접 읽고 바꿔 보려는 개발자에게 더 쓸모 있는 출발점으로 보인다.

저장소

https://github.com/vaibhaav-tiwari/deepseek-v3-jax

评论

趋势

이슈 AI 투자, 연준 부채 위험 경고…2028년 전후 조정 가능성
이슈 박지현, 부산·경주 오간 행사 일정과 모텔 숙소 생활 공…
이슈 카리나, 에스파 MMA2026 신설 대상 수상…첫날 2관왕
오픈소스 deepseek-v3-jax, 190줄로 읽는 DeepSeek V3 구조
이슈 케일라 해리슨, 누네스와 UFC 첫 방어전 편성…결과 미확…
이슈 세무사 시험 수석 합격자, AI 부정행위 인정…안경 사용…
이슈 고현정, 제주 공항·정원·카페에서 전한 여행 일상
이슈 볼로디미르 젤렌스키, 나토 가입·돈바스 철군 연계 구상…
이슈 마우리시오 포체티노 택한 맨유, 페르난데스 후계로 니…
이슈 재건축부담금 은마 1인당 4억6334만원 예상…조합장들 공…
이슈 젠지, 롤드컵 결승서 중국 BLG와 맞대결…선수·감독 각오
이슈 쵸비, 첫 롤드컵 결승 앞두고 "설렘이 크다"… 젠지 대 B…
이슈 비트코인 급락, 금리 우려와 엔비디아 변수 겹쳐
이슈 채령, 첫 솔로 앨범 ‘Lovesick’으로 활동 시작
이슈 송혜교·공유, ‘핑계고’서 작품과 개인 이야기 나눠
이슈 KBS 사극 ‘문무’, 생성형 AI로 전투 장면 구현
이슈 테슬라코리아, 스타필드 안성서 로보택시 사이버캡 국내…
이슈 갈비뼈 6개 골절해 허리 줄이는 시술, 안전성 논란
이슈 한국, 중국 수입시장 1위 6개월째…연간 수출 1조 달러 …
이슈 삼성 한국시리즈 우승, 강민호 프로 23년 차 첫 우승
이슈 KBO, 2026 FA 자격 선수 28명 공시…한화는 3명 포함
이슈 닥터X 11회, 수술 중 깨어난 김승효…최종회 11월 14일
오픈소스 llama.cpp의 바탕 라이브러리 ggml, 1.0에서 낡은 API …
이슈 중국산 배지 표고버섯 563t 국내산 둔갑, 업체 5곳 적발
이슈 삼양식품, 베트남 박닌성에 공장 짓는다…2,186억 원 투…
이슈 미국 관제 통신 장애로 전국 이륙 중단, 인천발 미주 노…
이슈 올림픽공원 핸드볼경기장 점거, 자진 철거 기한 11월 19…
이슈 한화오션 RSU 지급 소송, 3차 변론 뒤에도 결론 없이 내…
오픈소스 1GB 메모리 TV 박스·옛 아이패드에서 160억 매개변수 언…
오픈소스 구독료 없이 자수기를 돌리는 무료 편집기 ZigZag