SUI
SUI
AI Augmentedvideo generation

如何用 Claude Opus 5.5 設計一套影片製作工作流

SUI·2026.10.05

我花了一個工作天,再加上一個晚上的修改,和 Claude Opus 5.5 一起把我的文章〈當可愛擬態成為 AI 設計主流趨勢〉,做成了一支 7 分 36 秒的 YouTube 解說動畫。過程中我沒有打開剪輯軟體,也沒有拉過一條時間軸。

不過這篇文章想分享的,其實不是「AI 可以幫你做動畫」,也不是哪一句提示詞特別有效。做完這支影片之後,我最大的體會是:與其叫 AI 做一支影片,不如先設計一套它能執行、能修改、能沿用的流程。

所以接下來我不會照時間順序講我做了什麼,而是整理這一路上我做過的幾個關鍵判斷:哪些事要留在自己手上、怎麼跟 AI 講視覺、為什麼第一版做不好反而是好事,以及下一次我會怎麼做得更好。如果你也正在想怎麼用 AI 協做內容,希望這些判斷你可以直接帶走。

先決定什麼要留在自己手上

很多人第一次用 AI 做影片,會直接下一句「幫我做一支影片」。我一開始沒有這麼做,而是先問自己一個問題:這支影片裡,哪些判斷只有我能做?

答案其實很明確。影片到底要講什麼、旁白用什麼口吻、畫面往哪個方向走,還有看完片之後哪裡不對,這幾件事我留在自己手上。其他像是整理腳本、串配音、生角色圖、寫動畫、切字幕、渲染影片,製作音效和背景音樂,全部交給 Claude。

整張流程圖裡,我親手做的其實只有兩個環節:定稿旁白,和看片給修改意見。但這兩個環節剛好決定了影片的內容和品質。

順序也很重要。Claude 一開始只是把文章整理成腳本,接著我花了大約一個半小時自己修旁白,到語氣、觀點和節奏都確定了,才開始討論畫面。因為腳本是所有素材的上游,如果它還在動,就先開始大量生圖、配音和做動畫,後面只要改一句話,所有東西都要跟著重做。

如果你也想開始,我會建議先花幾分鐘列出「只有你能做的判斷」。列得越清楚,剩下可以放心交出去的就越多。

用設計系統跟 AI 溝通,而不是形容詞

跟 AI 討論視覺時,最容易說出口的是「可愛一點」、「活潑一點」、「更有質感」。但這些形容詞對每個人的意思都不一樣,AI 只能猜,猜出來的結果通常會很「平均」。

所以我沒有描述我想要的感覺,而是直接給它具體的東西:一支我想參考節奏的影片、我自己原本的兩個角色,還有作品集網站裡既有的設計系統。Claude 再把這些轉成可以直接使用的色碼、字體和動態曲線。

這個做法的好處是,整支影片雖然是由很多獨立的小程式組成的,視覺上卻始終一致。對我來說,這和做數位產品時先建立設計規範是同一個邏輯。就像我們其實不會對工程師說「按鈕做得可愛一點」,而是給他一份元件規範;跟 AI 協作其實也是同理。

如果你手邊已經有品牌色、字體或角色,它們就是你最好的提示詞。如果還沒有,花時間先整理一份,會比花時間研究提示詞寫法更有效。

讓角色承擔資訊,而不只是裝飾

這支影片談的是可愛擬態:AI 的能力愈來愈強,介面卻愈來愈像一群住在電腦裡的小角色。既然題目本身就在講「角色即狀態」,我就不希望影片裡的角色只是用來增加一點可愛感。

所以我幫自己的角色 Octo 設計了一套固定的狀態動作:思考、工作、等待、卡住、完成、睡著。全片只用這一套,觀眾看幾次就會學會,之後只要 Octo 蹲下來打開筆電,不用字卡大家也知道它在工作。

講到其他品牌的 agent 時也是一樣。第一版裡,很多品牌角色的特色都是由 Octo 代演的,看起來就很像在看一份報告。第二版我改成讓那個角色自己出場:Claw'd 自己做出搜尋、寫入、等待、完成的動作;Grok Bot 用不同顏色的光環和小圖示表達狀態,而不只是一堆黑球。

角色本身一旦參與了資訊表達,畫面就不再需要靠字卡說明一切。這也是我覺得解說動畫和簡報最大的不同。

把影片拆成可以重跑的零件

如果要我挑一個這次最關鍵的決定,大概就是:我沒有讓 AI 直接生成影片,而是讓它寫一個個小程式,再把影片組裝出來。這聽起來比較繞遠路,但它帶來一個很大的好處,就是每一個環節都可以重新執行。

整套流程的起點是腳本。每一場要出現什麼畫面、有哪些字卡、旁白怎麼說、語氣是什麼、需要什麼音效,都先寫進同一份腳本,後面的程式再從這份資料讀取。所以改腳本,就等於改影片。

角色和道具交給 Nano Banana 生成。我本來就有角色設定,所以是讓模型延伸出不同姿勢,而不是重新設計角色。圖先生在綠幕上,再自動去背,就能直接放進動畫裡。

動畫本身則是把每一場寫成一個網頁,用的色彩、字體和動態都來自同一套設計系統。最後由程式一格一格截圖,配上旁白、字幕和音效,每一場先輸出成獨立的 MP4,再接成完整影片。

這件事看起來很普通,但對後面的修改速度影響很大。哪一場有問題,就只重做哪一場;哪一句唸錯,就只重錄哪一句。生成式影片模型很難做到這種程度的局部修改,而程式天生就是為了重複執行而存在的。

第一版的價值,是讓問題被看見

AI 很容易一次產生大量結果,但能做很多,不代表一開始就應該全部做完。所以在正式大量生成之前,我都會先做一個小測試:旁白先生一小段試聽,生圖先出一張確認風格,動畫先做開場和第一場。方向、品質和成本都確認了,才讓 Claude 把剩下的跑完。

即使這樣,第一版還是不夠好。它完成得很快,旁白、字幕和節奏都沒有問題,但整體看起來就是一份「會動的簡報」。我後來發現,問題不是動畫太少,而是很多畫面只是讓同樣的角色換個姿勢,再搭配文字或圖示,內容本身並沒有真的被轉換成視覺。

所以第二版要處理的,不是再多加幾個效果,而是重新問自己:如果這句話真的變成畫面,應該發生什麼事?

講到「能力變強」,就不只是放一個向上的箭頭,而是讓工具一層一層疊起來;講到 agent 之間交接任務,就讓文件真的從一個角色傳到另一個角色手上。講到世界建構,就真的蓋一座浮空小島。

給 Claude 的修改意見,我也盡量寫成可以對號入座的清單:是哪一場、哪一個時間點,問題是畫面太單調、角色方向不對,還是資訊沒有被視覺化。「這裡不好看」這種意見,AI 只能再猜一次。

有趣的是,改第二版時 Claude 也自己抓到了兩個我沒注意到的問題:中文字型還沒下載完時字幕會短暫空白,還有角色跳躍後會被拉回原位。這一刻它更像是一起除錯的夥伴,而不只是一個生成工具。

回頭看會發現,第一版最大的價值不是它做得好不好,而是它讓我很快看見哪些地方還只是資訊排版。問題被看見之後再修,比一開始就要求 AI 一次做對所有細節有效得多。

第一次建流程,其實是一種投資

從第一句指令到最後一次修改,前後大約跨了 17.5 小時,但中間包含我修旁白、看片、等程式跑,還有睡覺的時間。真正在 Claude Code 裡一來一往的時間,大約是 3 小時。

而且最花時間的,其實不是動畫和渲染,而是第一次把整套流程完整走過一遍:把腳本縮到 8 分鐘內、串接 Gemini TTS、修正發音、建立生圖流程,還有處理 API 的花費上限。這些設定完成之後,第二版幾乎把整支影片的畫面重做了一輪,我和 Claude 來回的時間卻只有大約 30 分鐘。

所以這次真正建立起來的,不只是一支影片,而是一套下次還能繼續使用的製作流程。如果要拆解,可以把它理解成三個層次:最上面是內容,也就是腳本;中間是視覺風格和設計系統;下面則是配音、生圖、動畫、字幕、渲染和輸出。下一支影片不管是科技解說、品牌故事還是教學動畫,真正需要重新設計的只有前兩層。

素材也是一樣。這次需要另外付費的,只有 Gemini API 的生圖和旁白,合計大約新台幣 300 元。但這筆錢不完全是一次性的消耗,其中很大一部分是在建立一個角色庫、道具庫和風格庫。只要之後還在同一套世界觀裡做影片,這些素材都可以直接拿來用。

從這個角度來看,第一支影片的成本不太取決於影片有多長,而是有多少東西是第一次被建立。影片做得愈多,每一支的成本就會愈低。

下一次,我會把 Claude 的工作階段也拆開

這次實做有一個地方是需要優化的。

影片製作已經拆成了腳本、配音、生圖、動畫和修改幾個階段,但我卻把這些工作全部放在同一個 Claude Code 對話裡。

Claude 在這個對話裡回應了 252 次,中間還放進了很多圖片和截圖,所以每一次新的回應,都要重新讀一遍前面累積的所有內容。從第一次的 6 萬 tokens,一路長到最後的 70 萬,平均每次約 37 萬。即使用的是訂閱方案,這些重讀也會消耗使用額度。

問題不是影片太複雜,而是我讓一個對話承擔了太多不同階段的工作。其實真正需要延續的資訊,早就存在專案檔案裡了,例如腳本、旁白時間軸和生圖設定。新的對話只要重新讀這些檔案,就能接著工作。

所以下一次我會這樣做:每個階段開一個新的 session;設計系統、角色設定和渲染指令這些固定規範寫進 CLAUDE.md,讓每個新對話都能自動帶入;截圖在判斷視覺的那個階段用完就放下;對話太長就先用 /compact 壓縮。

至於修改,這次有一件事反而做得很對:我把看片後的問題整理成一份完整清單,一次交給 Claude,而不是看到一個修一個。這樣不只比較好管理,也少了很多不必要的來回。

如果把這個心得再往前推一步,就是:影片本身要模組化,和 AI 合作的方式也要模組化。

如果你也想開始

做完這支影片,我留下的不只是一個 7 分 36 秒的檔案,而是一套可以重複使用的流程、一批會繼續累積的素材,還有一種我覺得比較舒服的 AI 合作方式。對我來說,這比單純完成一支影片有價值得多。

如果你也想用 AI 做自己的解說影片,我會建議從這三件事開始:

  1. 先寫好你自己的腳本
  1. 再準備一份具體的視覺規範
  1. 然後讓每一場場景都能獨立重新製做。不用期待第一版就是完成品,它的工作是讓你看見問題。

看完第一版之後,我也把修改意見整理成了五個之後會一直沿用的原則。它們不只適用於我的風格,也是我覺得任何解說動畫都值得檢查的五件事:

  1. 抽象概念要真的變成畫面,而不是只換成另一組文字或圖示。
  1. 畫面裡的元素要有關係和互動。推、拿、傳遞、碰撞,哪怕只是一個很小的互動,都比把幾個漂亮物件各自擺好更像一個真正的場景。
  1. 裝飾要服務同一套視覺世界。講到哪個角色,就讓它自己出場;狀態要讓人一眼看懂,而不只是「有動畫」。
  1. 世界觀的建構很重要。當旁白在談一個比較大的概念時,畫面也要跟著建立空間感和關係。
  1. 不要留下沒有意義的空白畫面。

AI 讓「做出來」這件事變得很快,但要做什麼、怎樣才算好,還是要由我們自己決定。把判斷留在手上,把重複的工作交出去,大概就是這次我最想分享的一件事。

Share
Hi, 我是 Sui!專攻品牌策略與體驗設計的數位產品設計師。
我在這裡記錄我的數位作品,同時也記錄產品開發的歷程,有時也留下一些生活雜記。

Continue reading