240달러로 배운 1.35B 한국어 모델: VRAM 함정과 평가 지표의 배신

개인 GPU만으로 한국어 중심의 1.35B 파라미터 모델을 처음부터 학습하는 실험이 공개되었습니다. scarlet-alpha-1.3b-preview 프로젝트는 총 240달러의 비용으로 약 22B 토큰 규모의 사전학습을 완수하며 기술적 진입장벽을 낮추었으나, 동시에 소형 모델이 직면한 하드웨어와 데이터의 한계를 명확하게 드러냈습니다 ¹. 학습 중 VRAM 한계로 인한 정밀도 선택의 교훈부터, 벤치마크 점수를 과대평가하는 데이터 오염 문제, 그리고 특수 토큰 초기화 실패로 인한 문장 끝맺음 오류까지, 소형 한국어 모델을 설계하려는 실무자에게 필수적인 구체적인 인사이트와 함정을 정리했습니다.

240달러로 22B 토큰을 소화하는 하드웨어 제약의 실체

개인 GPU로 1.35B 파라미터의 모델을 학습할 때 가장 먼저 부딪히는 현실은 VRAM의 물리적 한계입니다. scarlet-alpha-1.3b-preview의 사전학습은 RTX 5090 4장부터 8장을 활용하여 약 22B 토큰 규모로 진행되었으며, 총 비용은 약 240달러로 집계되었습니다 ¹. 규모가 작아 보이는 1.35B 모델이라도 옵티마이저 상태까지 포함하면 실제 VRAM 사용량이 25GB를 초과하기 때문에, 단일 RTX 5090 환경에서는 모델 로드 자체가 불가능한 상태가 됩니다 ¹. 이러한 제약으로 인해 모델 병렬화나 다중 GPU 분산 학습이 필수 전제 조건으로 작용합니다.

정밀도 선택 또한 직관적인 예상과 다른 결과를 초래할 수 있습니다. 메모리 절약 측면에서 최신 기술인 FP4 정밀도를 고려할 수 있으나, 실험 결과 FP4는 행렬 곱 자체는 빨랐지만 층마다 붙는 부가 시간 때문에 GPU가 CPU를 대기하게 되었고, 메모리 효율도 FP8보다 낮아 학습 속도가 느린 것으로 확인되었습니다 ¹. 따라서 소형 모델이라 할지라도 FP8 혼합 정밀도 학습이 현실적인 기준점이며, 무분별한 정밀도 축소가 성능과 메모리 모두를 해칠 수 있다는 점을 유념해야 합니다.

클라우드 GPU 대여 시 발생하는 네트워크와 스토리지 장애

개인 환경의 한계를 보완하기 위해 vast.ai 등 클라우드 GPU 대여 플랫폼을 활용할 경우, 호스트 간 네트워크 대역폭의 편차가 큰 변수로 작용합니다. vast.ai를 사용할 때 데이터센터 인증이 없는 호스트의 경우 4곳 중 3곳은 네트워크 문제로 학습을 시작하지도 못했습니다 ¹.

심지어 학습이 정상적으로 진행되는 중이라 하더라도 스토리지 연결 상태가 불안정하면 체크포인트 저장 지연이 일어나고, 이로 인해 이미 쌓아 올린 학습 진행분 일부가 유실되는 사례가 보고되었습니다 ¹. GPU 연산 자체만 확보한다고 해서 학습이 성공하는 것이 아니며, 학습 데이터 로딩과 모델 저장 경로로 사용되는 네트워크 대역폭과 스토리지 안정성을 사전에 검증하고 차단하는 인프라 관리 역량이 요구됩니다.

벤치마크 점수를 부풀리는 한국어 데이터 오염

사전학습 단계에서 학습 데이터의 출처는 평가 지표의 신뢰도를 결정짓는 핵심 요소입니다. scarlet-alpha-1.3b-preview는 사전학습 체크포인트 기준 KoBEST COPA 등 여러 한국어 벤치마크에서 gemma-3-1b-pt보다 유의미하게 높은 점수를 기록했으나, 이 과정에는 데이터 오염(Contamination) 현상이 개입되어 있었습니다 ¹.

학습 데이터로 위키백과를 중점적으로 사용할 경우, 벤치마크 테스트셋과 중복되는 경향이 급격히 높아져 실제 문해 능력보다 점수가 과대평가되는 결과를 낳습니다 ¹. 구체적으로 KoBEST BoolQ의 경우 1,404문항 중 1,025문항이 학습 데이터와 많이 겹쳐 평가에서 제외 조치되었으며, 겹친 문항을 제외하면 비교 모델과의 차이가 사라졌습니다 ¹. 또한 짧은 추가 학습 후 계산 문제 정확도가 101개(총 224개)에서 170개로 올랐으나, 테스트 문장 192개 중 96개가 이미 학습 데이터에 포함되어 있어 단순한 문장 암기일 가능성이 시사되었습니다 ¹. 한국어 모델을 개발할 때 벤치마크의 절대적 수치에 현혹되지 않으려면, 사전에 테스트셋과 학습 코퍼스의 교집합을 필터링하여 정제하는 전처리 작업이 필수적입니다.

대화형 모델 전환 시 SFT 특수 토큰 초기화 누락

사전학습된 모델을 대화형으로 전환하기 위한 지도 학습(SFT, Supervised Fine-Tuning) 단계에서는 한국어 형태소 특성을 반영한 대화 템플릿의 특수 토큰 처리가 중요한 함정 중 하나로 작용했습니다. 사전학습 데이터에는 특수 토큰이 포함되지 않은 상태로 학습을 진행한 상태에서, SFT 과정에 진입하게 되면 모델의 토크나이저에는 대화용 특수 토큰이 정의되어 있더라도 해당 벡터(Embedding)가 적절히 초기화되지 않는 문제가 발생합니다 ¹.

특수 토큰 벡터가 학습되지 않은 상태로 남아 있으면, 학습된 모델이 답변을 생성하던 중 문장을 끝맺지 못하는 오류가 발생합니다. 실험 결과, 초기화되지 않은 상태로 SFT를 수행할 경우 답을 끝맺은 경우가 50번 중 0번이었으나, 해당 특수 토큰 벡터를 별도로 적절히 초기화하여 학습 프로세스에 투입하자 50번 중 49번으로 정상적인 끝맺음이 이루어졌습니다 ¹. 한국어의 문장 종결 조사나 어미에 따라 토크나이저가 토큰을 분할하는 방식이 복잡하기 때문에, 토큰 벡터 정합성 점검이 SFT 초기 단계에서 반드시 수행되어야 합니다.

방향성 의존성과 추론 능력의 명암

소형 모델의 한국어 생성 능력과 연산 능력에 대한 한계도 구체적으로 확인되었습니다. scarlet-alpha-1.3b-preview는 한국어 전용 벤치마크 점수에서는 Gemma-3-1b-pt보다 우위를 보였으나, GSM8K-ko와 같은 문장제 추론 문제에서는 동급 모델 대비 유의미한 차이를 보이지 못했습니다 ¹. GSM8K-ko 정확도 기준 greedy 디코딩 결과 0.198점을 기록하며 비교 모델(gemma-3-1b-it)의 0.214점과 차이가 없었으며, IFEval-Ko에서는 다소 낮은 성능(0.284 vs 0.342)을 나타냈습니다 ¹.

가장 주목할 만한 현상은 파라미터가 작은 모델이 형식(form)에 따라 연산 능력의 변동폭이 크다는 점입니다. 모델은 "A의 수도는 B"라는 정방향 사실에 대해 정답 로그확률 평균 −1.42로 높은 예측 확률을 보였으나, 이를 역방향("B가 수도인 나라")으로 질문했을 때는 정답 로그확률 평균이 −3.23으로 낮아지며 정답 확률이 약 6배 차이 났습니다 ¹. 이러한 방향성 편향은 같은 사실이라도 방향에 따라 따로 배워야 한다는 점을 시사하며, 문장제 계산에서 중간 단계의 연산이나 논리적 연결 고리를 추적하는 과정에서 오류를 발생시키는 원인으로 지목됩니다.

증류 손실 함수의 실패와 출력 제어 튜닝 팁

추가적인 성능 향상을 위해 도입했던 손실 함수나 튜닝 기법들이 오히려 독이 되는 경우도 발생했습니다. 모델의 지식을 증류(Distillation)하기 위해 기존 모델(Gemma 4 E2B)의 출력을 따르게 하는 증류 손실을 사전학습에 병행 적용했을 때, 결과적으로 모든 도메인에서 성능이 오히려 저하되는 현상이 나타났습니다 ¹. 이에 따라 증류 손실 함수는 최종 학습 프로세스에서 제외되었습니다.

한편, 문장 생성이 길어지면 특정 단어를 반복하는 반복 현상(Repetition)은 데이터 조정만으로 쉽게 잡히지 않으므로 디코딩 단계에서 반복 벌점(Repetition Penalty) 파라미터를 적용해 제어해야 했습니다 ¹. 반복 벌점을 부여하면 이 현상은 해결되지만, 반복이 생기는 정확한 원인은 파악되지 않았습니다 ¹. 모델의 가중치를 수정하는 것보다 추론 단의 매개변수 조정이 실질적이고 빠른 해결책이 될 수 있음을 보여주는 사례입니다.