픽셀아트 비디오 캡셔닝을 위한 VL 모델 실험 후기

용어

캡셔닝: 이미지나 비디오 콘텐츠를 자연어로 설명하는 텍스트 자동 생성 기술

VL 모델: Vision-Language 모델로, 시각 데이터와 텍스트를 동시 처리하여 멀티모달 이해 및 생성을 수행하는 AI 시스템

동기

게임 개발에서 인게임 스프라이트 애니메이션 제작 비용 절감을 위해 생성 AI 활용을 검토했다.

Wan 2.1/2.2 기반 LoRA 모델 훈련에는 균일한 스타일의 짧은 비디오와 해당 설명 캡션이 포함된 데이터셋이 필요하다.

수백 개 비디오에 대한 수동 캡션 작성은 시간과 비용 측면에서 비효율적이다. 따라서, VL 모델 기반 캡션 생성 자동화를 고려하였다.

VL 모델 선정 과정

Wan 2.1 LoRA 제작 경험이 있는 개발자들의 블로그 포스팅을 수집하여 실제 사용된 VL 모델들을 조사했다.

seruva19의 포스팅에서 LoRA 제작용 캡셔닝 기법이 상세히 기술되어 있어 주요 참고 자료로 활용했다.

후보 모델 목록

조사된 VL 모델들은 다음과 같다:

CogVLM2: 2024년 5월 20일
CogVLM2-Video-Llama3-Chat: 2024년 7월 8일
DeepSeek-VL-Chat: 2024년 3월 11일
GLM-Edge-V: 2024년 11월 29일
MiniCPM-Llama3-V-2.5: 2024년 5월 20일
Qwen-VL-Chat: 2023년 8월 22일
OmniLMM: 2024년 초반
DeepSeek-V2: 2024년 5월
등등 ..

실험모델 선정

초기 5개 모델에서 성능 테스트를 통해 3개 모델로 압축했다:

• CogVLM2-Video-Llama3-Chat-int4: xinference 프레임워크 지원 중단
• Ovis2-4B: 높은 환각(hallucination) 발생률
• Apollo-7B
• Qwen2.5-VL-7B-Instruct
• Keye-VL-8B-Preview

모델 평가를 위해 원신 게임 배경 영상을 테스트 케이스로 활용했다.

Describe this video in detail.

모델 파라미터 규모별 성능

RTX 4070Ti 환경에서 최대 8B 파라미터 모델까지 실행 가능했다. Apollo 3B/7B 모델로 캡션 생성 품질을 비교 평가했다.

3B 모델은 영상 장면에 대해 높은 정확도의 캡션을 생성했다. 7B 모델은 묘사에 추가 추론을 더해 상세한 설명을 제공하고 카메라 동작까지 기술하는 경향을 보였다.

하드웨어 제약 내에서 최대 파라미터 수를 활용하는 것이 캡션 품질 향상에 효과적이라고 판단했다.

Apollo 3B/7B 캡셔닝 예시

비디오 포맷 최적화

캡션 생성용 비디오 소스의 기술적 사양을 결정해야 했다:

• 해상도
• FPS
• 길이

Wan 공식 문서에서는 명확한 권장 사양을 제시하지 않았다. 따라서 기존 LoRA 모델 제작자들이 사용한 포맷을 참고하여 픽셀아트에 최적화된 설정을 도출했다.

프레임 길이 설정

최소 1초 이상으로 설정했다. 보유한 인게임 스프라이트시트는 8프레임이었으나 16프레임으로 확장이 필요했다. 이를 위해 보간 알고리즘을 사용해 프레임을 늘리는 것을 고려하였다.

프레임 보간 알고리즘 테스트 결과:

• RIFE47, DAIN, XVFI 등 다수 알고리즘 검토
• 픽셀아트 특성상 적절한 보간 결과 미달성

픽셀아트에 적합한 보간 알고리즘을 찾기 어려워 프레임 복제 방식(1-1-2-2-…-8-8)을 적용하여 16프레임 1초 재생을 구현했다.

해상도 최적화 실험

원본 스프라이트와 유사한 128×128과 4배 스케일링한 512×512 해상도로 영상을 제작하여 캡션 품질을 비교 평가했다.

Apollo 3B 모델을 사용한 동일 영상의 해상도별 캡션 생성 결과는 다음과 같다:

해상도 실험 결과 및 Apollo 모델 평가

10여 개 픽셀아트 테스트에서 두 해상도 간 유의미한 성능 차이는 관찰되지 않았다. 기존 VL 모델들이 400p 이상 해상도를 사용한다는 참고 사항을 바탕으로 512×512를 최종 해상도로 결정했다.

최종 모델 비교: Qwen2.5-VL vs Keye-VL

Apollo 모델은 배경 및 실사 피사체에서는 균일한 캡션 품질을 생성하는 편이지만 픽셀아트에서는 정확도 및 상세도가 떨어지는 것을 확인했다. Apollo 모델의 학습 데이터셋에 픽셀아트 리소스가 부족한 것을 확인하였고 픽셀아트 캡셔닝에는 부적합하다고 판단했다. 따라서 Apollo VL 모델을 후보에서 제외했다.

최종 선정된 두 모델의 성능을 비교 평가했다:

• Qwen2.5-VL-7B-Instruct
• Keye-VL-8B-Preview

테스트 설계

정상 응답 생성 확인을 위해 원신 배경 3개와 인게임 스프라이트 애니메이션 11개를 테스트했다.

환경 설정: 각 모델은 Hugging Face README 권장 방법에 따라 환경을 구성했다.

프롬프트 설계: 픽셀아트 특화 캡션 생성을 위한 시스템 지침을 작성했다. 주요 요구사항은 다음과 같다:

• 애니메이션 타입(대기, 공격, 스킬 등) 정확한 분류
• 캐릭터 외형(갑옷, 무기, 색상) 세부 묘사
• 움직임 패턴과 프레임 순환 방식 기술
• 시각 효과 및 연출 요소 설명

    messages = [
        {
            "role": "system",
            "content": """
You are an expert pixel art animation describer specializing in mobile game character sprites.

For the following pixel art character animation video, write a detailed, precise caption that:
- Begins with the exact phrase: "PixelStyle".
- Uses present-tense, concrete language that describes only what is visible in the animation.
- Follows the order "Animation Type -> Character Description -> Movement Details -> Visual Effects"

MANDATORY ELEMENTS to include:
1. Animation Type: Identify the exact animation category (attack, idle, run, retire, skill, victory)
2. Character Appearance: Describe clothing/armor, weapon, dominant colors, and distinctive features
3. Movement Pattern: Describe the motion characteristics specific to pixel sprite animation (frame-by-frame movement, looping pattern, timing)
4. Pixel Art Details: Note sprite resolution feel, color palette, and any particle effects or visual flourishes

STRICT RULES:
- Do not use emotional adjectives or narrative interpretation
- Focus on technical animation details and visual elements only
- Always specify the animation type in the description
- Describe movement as "cycles through X frames" or "loops between poses"
- No artistic style words except the required prefix "PixelStyle"

ANIMATION-SPECIFIC GUIDELINES:
- Attack: Focus on weapon motion, strike poses, recovery frames
- Idle: Describe subtle breathing/swaying motions, static pose variations  
- Run: Detail leg cycle, body bob, movement rhythm
- Retire: Describe falling/defeat motion sequence
- Skill: Focus on special effects, unique poses, ability execution
- Victory: Detail celebration gestures, triumphant poses
            """
        },
        {
            "role": "user",
            "content": [
                {
					...
                },
                {"type": "text", "text": "Describe this video in detail."},
            ],
        }
    ]
	...
    # Inference
    generated_ids = model.generate(**inputs, max_new_tokens=512)
	...

픽셀아트 캡셔닝 예시

모델 성능 평가 및 최종 결론

Qwen2.5-VL-7B-Instruct 특성

• 지침 준수: 시스템 프롬프트에 따른 균일한 캡션 생성
• 묘사 방식: 간결하면서도 핵심 동작에 대한 높은 정확도
• 적용 영역: 픽셀아트 기본 캡셔닝에 적합

Keye-VL-8B-Preview 특성

• 묘사 정확도: 상대적으로 낮은 정확도, 일부 환각
• 세부 묘사: 액션과 VFX에 대한 상세한 설명 제공
• 적용 영역: 애니메이션 연출 묘사에 특화

최종 결론

픽셀아트 캡셔닝에서는 Qwen2.5-VL-7B-Instruct를 주 모델로 사용할 것으로 결정하였다.

하지만, 애니메이션 연출과 시각 효과가 중요한 경우 Keye-VL-8B-Preview를 보조 모델로 병행하여 두 캡션을 융합 활용하는 하이브리드 접근법도 고려할 만하다.