최고의 감독들이 이미지로 단 5일 만에 영상을 제작하고 역사적 장면을 재현하는 방법

2026년 아스파라 컨퍼런스 개막 전날인 9월 21일, 저명한 감독이자 각본가인 루촨이 AIGC 단편 영화 The Site of History의 트레일러와 함께 무대에 섰습니다. 이는 그가 알리바바의 비디오 생성 모델과 협력하여 '인간-AI 공동 창작'을 통해 AI로 영화급 이미지를 심도 있게 제작한 첫 사례입니다.

전통적인 영화 제작 방식대로라면 명나라 시대 베이징의 도시 풍경, 황궁, 그리고 대규모 폭발 장면을 재현하는 데는 수개월의 시간과 수천만 위안의 예산이 필요했을 것입니다. 실제로 실제 폭발 장면을 한 번 촬영하는 데만 19일이 걸렸습니다. 하지만 이번에는 역사 연구부터 이미지 생성까지 팀은 단 5일밖에 소요되지 않았습니다.

이러한 대비는 현재 업계 전체의 주목을 받고 있습니다.

AI를 활용해 400년 전 미스터리의 '현장'으로 돌아가기

The Site of History는 명나라 시대의 1626년 '왕궁창 사건'을 다루고 있습니다. 이는 베이징 남서부에 위치한 왕궁창 화약고에서 발생한 대규모 폭발로, 그 원인은 오늘날까지도 미스터리로 남아 있습니다. 바로 이 '미해결' 상태 때문에 영화적 창작에 있어 광활한 캔버스이자 동시에 formidable한 도전 과제를 제공합니다.

루촨 감독의 주제 선정은 영화 Tiangong Kaiwu 준비 과정에서 팀이 명나라 역사를 연구하던 중 비롯되었습니다. 그들은 순수한 상상력에 의존하기보다 Zhuozhong Zhi와 Tianjue Tang Wenji를 포함한 여러 명나라 사료를 꼼꼼히 검토하며 다양한 목격자의 기록을 조각냈고, AI를 활용해 이러한 '텍스트 기반 장면'을 영상으로 변환했으며, 오늘날까지 폭발을 둘러싼 미스터리를 탐구했습니다.

The short film unfolds from the perspectives of three eyewitnesses: Wu Er, a gunpowder craftsman who survived at the blast center; Liu Ruoyu, a eunuch inside the palace; and Xue Gang, a scholar living among the common people. All three accounts come from surviving historical records—meaning there is not a single fictional "protagonist"; every figure is a witness history left behind.

AI의 약점이 가장 잘 드러날 수 있는 장면—95% 이상의 충실도로 재현

시각 효과 스펙터클이 가장 두려워하는 것은 무엇일까요? 들키는 것입니다. 특히 연기와 파편, 불꽃이 동시에 분출되는 폭발 장면은 모델을 가장 혹사시키고 '한눈에 가짜'임을 알아차리기 쉬운 복잡하고 빠르게 움직이는 장면입니다.

팀의 접근 방식은 철저하게 '엔지니어링 주도'였습니다. 그들은 고대 문헌의 문학적 묘사(예: "검은 영지버섯처럼 피어오르는 연기")를 구절마다 "버섯 구름"과 같은 현대적 시각 개념으로 번역했고, 약 4차례의 프롬프트 최적화 반복을 거쳐 실제 폭발 영상과 비교하며 보정했습니다.

The result: the Alibaba video-generation model's rendering of the smoke, debris, and other imagery reached over 95% of what the team had expected. On screen, the "black lingzhi" smoke surged upward—and it held, rock solid.

"AI가 감독을 대체한다"가 아닌, 새로운 분업 체계

루촨이 진정으로 탐구하고자 하는 것은 AI가 감독을 대체할지 여부가 아니라, 인간과 기계가 어떻게 역할을 재분담할 수 있는지입니다.

그는 2023년부터 AIGC 실험을 시작해 사실상 파워 유저 수준이었지만, 이번 제작 과정은 여전히 "예상을 뛰어넘었다"고 밝혔습니다. 그는 범용 모델이 대부분 기존 사극 영화 및 TV 작품으로 학습되었기 때문에, AI가 생성한 이미지가 익숙한 "사극 느낌"을 쉽게 띠며 진정한 역사가 가져야 할 "이질감"이 결여되어 있다는 공통적인 flaws를 날카롭게 지적했습니다.

The Site of History의 해답은 다음과 같습니다: 인간이 방향을 설정하고, AI가 실행을 담당한다.

• 연구 및 자료 수집 단계: 인간이 먼저 연구 방향을 결정하고, AI가 자료 수집을 지원합니다;
• 제작 단계: 감독이 카메라 방향, 시각적 질감, 전체적인 톤을 통제하고, AI가 의도를 실현합니다;
• 주제 성찰 단계: AI는 심지어 "대화 파트너" 역할을 하여 질문을 정리하는 데 도움을 줄 수 있습니다.

한 마디로 요약하면: 인간은 문제 의식, 핵심 표현, 미적 판단, 사실적 경계를 소유하고; AI는 자료 확장, 상상력의 구체화, 실행 효율성 향상을 담당합니다. 영상 생성 구간에서 알리바바 모델의 참여도와 기여도는 작업량의 절반을 넘어섰으며, 캐릭터를 더 생생하게 만들고 "천인천면(千人千面)"의 효과를 구현했습니다.

특히 루촨 본인이 프로그래밍과 모델 후학습(post-training)을 통해 창작에 깊게 관여하고 있다는 점이 주목됩니다. 그는 이를 "양방향 선택"으로 보는데, 사실적인 캐릭터, 복잡한 장면, 시네마틱한 질감은 바로 알리바바의 영상 생성 모델이 강점을 보이는 분야입니다. 알리바바 측은 향후 더 많은 감독, 업계 전문가, 역사학자와 협력하여 더 엄격한 전문 정보를 도입하고 Agentic Video 기능을 지속적으로 강화함으로써 전체 영상 제작 파이프라인의 지능화 수준을 높일 것이라고 밝혔습니다.

진정한 신호: AI 영상 경쟁이 "벤치마크"에서 "실제 납품( Delivery )"으로 이동

만약 The Site of History를 단순히 "감독이 AI와 놀아본다"는 식의 뉴스 거리로만 치부한다면, 더 중요한 변화를 놓치게 될 것입니다.

9월 22일 알리바바 클라우드의 메인 포럼인 아psara 컨퍼런스에서 알리바바는 거의 전체 모델 포트폴리오를 공개했습니다. 자체 학습을 시작한 Qwen3.8-Max, 차세대 아키텍처를 미리 보여주는 Qwen3.8-Flash, 옴니모달 이해를 통합하는 Qwen3.8-Omni, 그리고 파라미터 규모를 직접 5~10조 수준으로 targeting 중인 Qwen4가 학습 중입니다. 또한 이미지 생성 Qwen-Image-3.1, 음악 생성 Happy Shrimp 1.1, 월드 모델 HappyOyster 2.0 Preview, 음성 모델 Qwen-Audio-3.1도 모습을 드러냈으며, 차세대 영상 모델은 11월 출시될 예정입니다.

이들 모델 각각만으로도 한 편의 기사를 채울 수 있지만, 루촨의 단편 영화와 함께 읽어보면 맛이 달라집니다—이번 옴니모달 업그레이드는 개별 기능을 채워 넣는 것이 아니라, 하나의 질문에 답하는 것처럼 보입니다. 즉, 모델이 실제 시나리오에 더 빠르게 진입하여 진정한 생산성이 될 수 있는가?

지난 1년간 AI 영상 경쟁은 "벤치마크" 중심이었습니다. 누가 블라인드 테스트 리더보드에서 1위를 차지하는지, 누가 더 긴 클립을 생성할 수 있는지가 중요했죠. 하지만 The Site of History와 같은 작품들은 경쟁을 더 현실적인 차원인 실제 납품(delivery)으로 끌어내립니다. 즉, 실제로 영화를 완성할 수 있는지, 최고 수준의 감독이 자신의 이름을 걸 수 있는지, "수천만 위안과 몇 달의 작업"을 "5일"로 압축할 수 있는지가 핵심입니다.

"AI는 기존 풍경의 사진사가 아니라, 미지의 풍경을 창조하는 작가입니다." 루촨의 이 말은 업계 모든 이들에게 필요한 각주가 될 수 있습니다. 이미지 투 비디오(image-to-video)의 다음 분수령은 리더보드가 아닌 촬영 현장에 있습니다.