AI 동영상 생성이 급속히 진화하고 있지만、실제로 운용해 보면 의외로 큰 문제가 되는 것이 생성 비용이다。
특히 SNS용 동영상 제작에서는、완제품보다 시험 횟수가 더 중요해진다.。
아무리 우수한 모델이라도、한 번에 이상적인 영상이 출력되는 것은 적다.。오히려 여러 번 생성하면서 방향성을 탐구、점차 완성도를 올려가는 작업이 된다。
그래서 내가 최근에 자주 사용하고 있는 것이、1080p · 5 초 동영상을 저비용으로 생성 할 수있는 "동영상 2.5 터보"。
최고 품질의 모델이 아닙니다.。
그러나 SNS 게시물이나 짧은 동영상 용도라면 충분한 품질을 가지고 있습니다.、무엇보다 생산 비용을 크게 줄일 수 있습니다.。
AI동영상 제작에서는 "한 번에 맞는다"보다 "몇번이나 시도할 수 있는" 것이 더 중요한 경우가 많다。
즉、AI 동영상 제작에 있어서는 성능보다 시험 횟수가 작품의 퀄리티를 결정할 수 있다。
그렇게 생각하면、이 염가 버전 모델은 매우 우수합니다.、현실적인 선택이 되다。
그리고、이 비용 성능이 높은 모델에서 특히 실용적이라고 느끼는 것이、「시점」과 「종점」의 화상을 지정하는 동영상 생성이다。
AI에 중간을 생각하게 하는 동영상 생성
이 방법은 매우 간단합니다.。
・영상의 최초의 화상(시점)을 지정한다
・영상의 마지막 화상(종점)을 지정한다
・그 사이를 AI에 보완시킨다
단지 이것뿐입니다.。
기존 영상 제작이라면、시작부터 끝까지 카메라 워크나 피사체의 움직임을 인간이 설계할 필요가 있었다。
그러나 AI 동영상의 경우、시작점과 끝점을주는 것만으로、그 사이의 스토리와 움직임을 AI가 추측하여 생성해 준다。
이것은 전통적인 영상 제작과 완전히 다른 발상입니다.、AI만의 제작 수법이라고 할 수 있다。
이번에 사용한 시작점 이미지와 끝점 이미지
이번에 사용한 이미지는 실사가 아닙니다.、둘 다 AI 생성 이미지입니다.。
먼저 몸 전체가 보이는 이미지를 생성합니다.、그 후 얼굴 업 이미지를 생성했습니다.。
즉、
「인물이 이쪽으로 걸어온다」
라는 시작점 이미지와、
「인물의 업」
라는 종점 이미지를 준비했습니다.。
이 두 장을 동영상 모델에 입력하면、AI는 자동으로 그 사이의 움직임을 생각。
걷다。
서서히 카메라에 접근。
어딘가에 멈추다。
업이 된다。
이 일련의 흐름을 AI가 마음대로 만들어 준다。
물론 완전히 이쪽의 의도대로 되는 것은 아니다。
그러나、인간이 세밀하게 지시하지 않아도 자연스러운 영상을 조립해주는 경우가 많다。
실은 꽤 무차한 카메라 워크를 AI에 시키고 있다
이 동영상은 실제로 촬영하려고하면 꽤 어렵습니다.。
피사체가 걷고 있는。
카메라도 이동 중。
또한 끌어 당기는 그림에서 업으로 이동하고 있습니다.。
경우에 따라 짐벌과 돌리 촬영이 필요할 것입니다.。
피사체와의 거리 관리。
포커스 관리。
카메라 이동 속도。
보행 속도와의 동기화。
이런 요소를 모두 성립시켜야 한다。
경험이 풍부한 시네마 토그래퍼에서도 쉽지 않은 촬영이 될 것이라고 생각한다.。
그러나 AI는 이러한 복잡한 촬영 과정을 이해하지 못합니다.。
단순히 시작점과 끝점을 보고、그 사이를 보완하는 것뿐。
그럼에도 불구하고、인간이 실제로 촬영한 것 같은 카메라 워크를 만들어 버린다。
여기에 AI 동영상의 재미가 있습니다.。
기술을 재현하는 것보다、결과적으로 그렇게 보이는 영상을 생성하고 있는 것이다。
첫번째 실패
그러나 일단 눈이 생성되면 파탄이 발생했습니다.。
의상이 바뀌었다.。
머리카락의 묘사도 안정되지 않았다.。
인물 동영상에서는 매우 흔한 현상입니다.。
특히 이번처럼、
・이동량이 큰
・화각 변화가 크다
・전신에서 업으로 이행한다
같은 조건이 겹치면、일관성을 유지하는 난이도 상승。
AI는 인물 자체를 이해하지 못합니다.。
그 때문에 도중에 옷의 형상이나 헤어스타일이 변화해 버리는 일이 있다。
내 기본 방침은 먼저 AI에 맡기는 것
이럴 때 내가하는 방법은 간단하다.。
우선 AI가 가능할 것 같은 시작점 이미지와 끝점 이미지를 만든다。
그 후에는 세세하게 제어하지 않고、일단 AI에게 맡기다。
우선 결과 보기。
좋으면 채용。
안된다면 수정。
이 흐름。
처음부터 많은 양의 프롬프트를 작성하고 제어하려고 시도하지 않습니다.。
왜냐하면、AI는 인간이 예상하지 못한 좋은 결과를 낼 수 있기 때문이다。
우선 능력을 확인。
그 후 부족한 부분만 수정。
이것은 사진의 수정과 약간 비슷합니다.。
처음부터 세세한 부분만 만지는 대신、전체를 보면서 필요한 부분만 조정하는 감각이다。
재미 있었던 것은、AI가 도중에 한 번 뒤돌아 옆을 보는 행동을 만들어 온 것이다。
인간이라면 연출로 추가하고 싶어지는 움직임 이었지만、이번에는 종점 이미지까지의 흐름을 간단하게 보여주고 싶었기 때문에 채용하지 않았다.。
5초라는 짧은 척안에서、시선이동이나 되돌아가는 연극을 넣는 것보다、피사체의 이동과 카메라 워크에 정보량을 집중시킨 것이 영상으로서 정합이 좋다고 느꼈다。
이 근처의 "예기치 않지만 매력적인 제안"을하는 것도、AI 동영상의 재미있는 곳이라고 생각한다。
이번 수정 프롬프트
이번에 추가한 수정 프롬프트는 매우 짧습니다.。
"자연스러운 움직임으로、이미지의 파탄이 없도록。옷이나 머리카락의 묘사에 주의해』
이것만이。
긴 프롬프트를 작성한 것은 아닙니다.。
그러나 두 번째 생성에서는 크게 개선되었습니다.。
AI 동영상에서는 장문 프롬프트가 반드시 유리한 것은 아닙니다.。
오히려 문제점만을 명확하게 전달하는 것이 개선되는 경우도 많다。
이번에도 그 전형적인 예였다.。
음성은 성취하고 맡겨라.
음성에 대해서는 기본적으로 AI에 맡기고 있다。
물론 나중에 효과음을 추가할 수도 있다。
배경 음악을 넣을 수 있습니다.。
그러나 먼저 생성된 소리를 확인。
이번에는 두 번째 수정 버전에서 파도 소리와 같은 환경 소리가 자연스럽게 생성되었습니다.。
영상과의 궁합도 좋았다。
따라서 이번에는 그대로 채택하고 있습니다.。
AI 동영상에서는 영상뿐만 아니라 소리의 우연성도 재미있다。
의도하지 않은 환경음과 공기감이 작품의 매력이 될 수도 있다。
AI 동영상에서 중요한 것은 시도 횟수
이번에 다시 느낀 것은、AI 동영상 제작에서 중요한 것은 완벽한 프롬프트가 아니라 시도 횟수라는 것입니다.。
시작점과 끝점을 결정。
먼저 생성。
결과 보기。
문제가 있으면 수정。
다시 생성。
이 반복이 가장 효율적。
특히 저비용 모델이라면 여러 번 시도해 볼 수 있습니다.。
AI 동영상은 인간이 세부를 설계하는 시대부터、인간이 방향성을 결정하고 AI로 해석시키는 시대로 이행하고 있을지도 모른다。
시작점과 끝점만 제공、그 사이를 AI로 상상。
이 방법은 앞으로 더욱 실용적이 될 것이라고 느끼고 있다。
▶︎[AI 동영상의 30fps 문제를 Premiere Pro로 해결하는 60fps 슬로우 모션 제작 워크플로]
