DEV Community

Cover image for วิธีใช้ Reference Video ใน Seedance 2.0: ถ่ายโอนการเคลื่อนไหวและมุมกล้อง
Thanawat Wongchai
Thanawat Wongchai

Posted on • Originally published at apidog.com

วิธีใช้ Reference Video ใน Seedance 2.0: ถ่ายโอนการเคลื่อนไหวและมุมกล้อง

สรุป

วิดีโออ้างอิงใน Seedance 2.0 ช่วยให้คุณสามารถควบคุมการเคลื่อนไหว เช่น การเคลื่อนกล้อง การออกแบบท่าทางตัวละคร และจังหวะเวลา ได้ตรงกับที่ต้องการโดยใช้คลิปตัวอย่างจริง แนะนำให้ใช้คลิปอ้างอิงความยาว 3-8 วินาที ถ่ายแบบช็อตเดียว ไม่มี jump cuts และใช้การบีบอัดแบบ H.264 ที่คมชัด พรอมต์ควรสั้น ใช้คำคุณศัพท์ไม่เกินสามคำเพื่อระบุสไตล์ ข้อความพรอมต์จะช่วยอธิบายสิ่งที่วิดีโออ้างอิงแสดงไม่ได้ ส่วนวิดีโออ้างอิงจะควบคุมการเคลื่อนไหว หากผลลัพธ์ผิดเพี้ยนหรือไม่ตรงวิดีโออ้างอิง ให้แก้ไขตามคู่มือในบทความนี้

ทดลองใช้ Apidog วันนี้

บทนำ

การสร้างวิดีโอด้วยข้อความเหมาะสำหรับแนวคิดที่หลากหลาย เช่น ฉากสร้างบรรยากาศหรือสำรวจไอเดียภาพหลายแนว แต่ถ้าต้องการควบคุมการเคลื่อนไหวเฉพาะ เช่น จังหวะการแสดงท่าทาง การเคลื่อนกล้อง หรือวัฏจักรการเดิน การใช้ข้อความจะควบคุมได้ไม่ตรงเป้า

วิดีโออ้างอิงเข้ามาช่วยตรงนี้ — ใช้คลิปที่แสดงการเคลื่อนไหวที่ต้องการ แล้วให้ Seedance 2.0 สร้างฉากใหม่ตามคำอธิบายและถอดรหัสการขยับจากคลิปนั้น

คู่มือนี้จะแนะนำกรณีที่ควรเลือกใช้วิดีโออ้างอิง, วิธีเตรียมคลิปให้เหมาะสม, และแนวทางแก้ไขปัญหาที่พบได้บ่อย

เมื่อควรใช้วิดีโออ้างอิง

วิดีโออ้างอิงเหมาะกับกรณี:

  • ท่าทางเล็กๆ (Micro-gestures): เช่น การแตะนิ้ว, การพยักหน้า โมเดลจะจับจังหวะเวลาได้ดีกว่าการเขียนข้อความ
  • การออกแบบท่าเต้นหรือท่าทาง: เช่น เดินด้วยจังหวะเฉพาะ หรือกิจวัตรที่ทำซ้ำ
  • การเคลื่อนไหวของกล้อง: เช่น ดันกล้อง, หมุนกล้อง, เปลี่ยนเฟรมที่ควบคุมได้
  • การจับจังหวะ (Beat-matching): ซิงโครไนซ์กับเสียงหรือจังหวะเพลงได้แม่นยำ

ข้อความอย่างเดียวจะเหมาะกว่าเมื่อ:

  • ต้องการแนวคิดหรือฉากที่เปิดกว้าง
  • สำรวจทิศทางภาพที่แตกต่างกัน
  • ไม่มีคลิปอ้างอิงและการเคลื่อนไหวเรียบง่าย

การเตรียมคลิปอ้างอิง

ตรวจสอบให้คลิปอ้างอิงมีคุณสมบัติต่อไปนี้:

  • ความยาว: 3-8 วินาที (สั้นเกินไปข้อมูลไม่พอ, ยาวเกินไปโมเดลสับสน)
  • ความต่อเนื่อง: ถ่ายช็อตเดียว ไม่มีตัดต่อหรือ jump cuts
  • การบีบอัด: ใช้ H.264 ที่คมชัด ไม่มีสิ่งแปลกปลอม
  • ความชัดเจนของวัตถุ: พื้นหลังเรียบ แสงคงที่ เพื่อให้อ่านการเคลื่อนไหวได้ชัด

เช็คลิสต์ก่อนอัปโหลดคลิป:

  • [ ] ความยาวไม่เกิน 8 วินาที
  • [ ] ช็อตเดียว ไม่มีรอยตัด
  • [ ] บีบอัดสะอาด ไม่มีสิ่งแปลกปลอม
  • [ ] วัตถุเด่นชัดจากพื้นหลัง
  • [ ] แสงคงที่ตลอดคลิป

การใช้พรอมต์ร่วมกับคลิปอ้างอิง

เมื่อใช้ข้อความพรอมต์ควบคู่กับคลิปอ้างอิง ให้เน้นสิ่งที่วิดีโออ้างอิงแสดงไม่ได้ เช่น สไตล์หรือโทนภาพ หลีกเลี่ยงการซ้ำซ้อนกับสิ่งที่เห็นในวิดีโอ

ใช้ข้อความสำหรับ:

  • คำอธิบายสไตล์ (แสง, โทนสี)
  • อัตลักษณ์ของวัตถุ (ใคร/อะไรในฉากใหม่)
  • บริบทกล้อง (ถ้าคลิปอ้างอิงไม่ชัดเจน)
  • ข้อจำกัดหนึ่งหรือสองข้อ

โครงสร้างพรอมต์แนะนำ:

Style: [คำอธิบาย 2-3 คำเกี่ยวกับแสงและโทนสี]
Subject: [อัตลักษณ์วัตถุโดยใช้ลักษณะที่ชัดเจน]
Camera: [ถ้าแตกต่างจากวิดีโออ้างอิง]
Reference intent: "เคารพการเคลื่อนไหวจากวิดีโออ้างอิง: ตีความพื้นผิวและสีใหม่"
Must not: [ข้อจำกัดเฉพาะ]
Enter fullscreen mode Exit fullscreen mode

ตัวอย่าง:

คลิปอ้างอิง: คนเดินด้วยจังหวะเฉพาะ

พรอมต์:

สไตล์: แสงยามบ่ายที่อบอุ่น, โทนสีทอง
วัตถุ: ผู้ชายในชุดสูทสีเทา, อายุต้น 40, ท่าทางมั่นใจ
เคารพการเคลื่อนไหวจากวิดีโออ้างอิง: ตีความพื้นผิวและสีใหม่
ต้องไม่: เปลี่ยนจังหวะการเดิน
Enter fullscreen mode Exit fullscreen mode

ข้อควรจำ: คำอธิบายสไตล์ไม่ควรเกิน 3 คำ เพื่อเลี่ยงคำสั่งขัดแย้ง


การใช้งาน API ผ่าน WaveSpeedAI

Seedance 2.0 รองรับการใช้งานผ่าน API ของ WaveSpeedAI จุดเชื่อมต่อสำหรับวิดีโออ้างอิง:

POST https://api.wavespeed.ai/api/v2/seedance/v2/image-to-video
Authorization: Bearer {{WAVESPEED_API_KEY}}
Content-Type: application/json

{
  "prompt": "Warm afternoon light, golden tones. A man in a gray suit walks forward. Respect motion from reference.",
  "image_url": "https://example.com/subject-reference.jpg",
  "reference_video_url": "https://example.com/motion-reference.mp4",
  "duration": 5,
  "aspect_ratio": "16:9"
}
Enter fullscreen mode Exit fullscreen mode

การทดสอบด้วย Apidog

ตั้งค่าคอลเลกชันสำหรับทดสอบ API ได้สะดวกด้วย Apidog

ขั้นตอน:

1. ตั้งค่าสภาพแวดล้อม

  • สร้าง Environment ใน Apidog
  • เพิ่มตัวแปรลับ WAVESPEED_API_KEY

2. ทำงานแบบสองคำขอ

  • คำขอที่ 1: เริ่มสร้างวิดีโอ
  • คำขอที่ 2: ตรวจสอบสถานะจนสำเร็จ

คำขอที่ 1:

POST https://api.wavespeed.ai/api/v2/seedance/v2/image-to-video
Authorization: Bearer {{WAVESPEED_API_KEY}}
Content-Type: application/json

{
  "prompt": "{{motion_prompt}}",
  "image_url": "{{subject_image}}",
  "reference_video_url": "{{reference_clip}}",
  "duration": {{duration}},
  "aspect_ratio": "16:9"
}
Enter fullscreen mode Exit fullscreen mode

ในแท็บ Tests, ดึง Job ID:

pm.environment.set("job_id", pm.response.json().id);
Enter fullscreen mode Exit fullscreen mode

คำขอที่ 2:

GET https://api.wavespeed.ai/api/v2/predictions/{{job_id}}
Authorization: Bearer {{WAVESPEED_API_KEY}}
Enter fullscreen mode Exit fullscreen mode

ยืนยัน field status ต้องเป็น "completed"


คู่มือการแก้ไขปัญหา

การสั่นของการเคลื่อนไหว (Motion jitter)

  1. ตัดแต่งคลิปเพื่อลบการเคลื่อนไหวที่ไม่ตั้งใจที่ขอบ
  2. ลดสัญญาณรบกวนในวิดีโอต้นฉบับ
  3. ถ่ายให้ภาพนิ่งตั้งแต่แรก (ไม่ควรเพิ่มความเสถียรใน post-production)
  4. ลดความยาววิดีโออ้างอิงเหลือ 3-5 วินาที
  5. ทำให้พรอมต์ข้อความกระชับขึ้น

วิดีโออ้างอิงถูกละเลย

  1. ทำให้การเคลื่อนไหวในคลิปเด่นชัดและวัตถุอยู่กลางเฟรม
  2. ใช้การเคลื่อนไหวเพียงประเภทเดียวต่อคลิป
  3. ระบุในพรอมต์ให้ชัด เช่น “คัดลอกการเคลื่อนไหวของกล้องจากวิดีโออ้างอิง”
  4. เลือกช่วงที่สะอาดที่สุด 2-3 วินาทีจากคลิป
  5. ใช้เครื่องหมายอ้างอิง (เช่น เทปบนพื้น) สำหรับ parallax

สไตล์ผิดเพี้ยน

  1. ลดคำอธิบายสไตล์เหลือไม่เกิน 2-3 คำ
  2. เพิ่มภาพอ้างอิงนิ่งควบคู่กับวิดีโออ้างอิง
  3. ทำให้รายละเอียดในคลิปอ้างอิงเรียบง่าย
  4. ตั้งค่าทุกอย่างให้คงที่ตลอดการเรนเดอร์
  5. จัดเรียงการเคลื่อนไหวให้สมบูรณ์ก่อนปรับรูปลักษณ์

สิทธิ์และความยินยอม

หากวิดีโออ้างอิงมีบุคคลที่สามารถระบุตัวตน ต้องได้รับความยินยอม:

  • รับความยินยอมเป็นลายลักษณ์อักษรจากทุกคนในคลิป
  • เด็กต้องได้รับลายเซ็นผู้ปกครอง
  • ตรวจสอบสิทธิ์การใช้สถานที่ถ่ายทำเชิงพาณิชย์
  • หลีกเลี่ยงโลโก้หรือเครื่องหมายการค้าภายนอก
  • เก็บบันทึก: วันที่, เอกสารความยินยอม, เวอร์ชันคลิป

ใช้แนวปฏิบัตินี้กับทั้งคลิปและผลลัพธ์ที่สร้างด้วย


คำถามที่พบบ่อย (FAQ)

วิดีโออ้างอิงใช้แทนภาพอ้างอิงได้หรือไม่?

ไม่ได้ ทั้งสองมีหน้าที่ต่างกัน: ภาพอ้างอิงสำหรับลักษณะวัตถุ, วิดีโออ้างอิงสำหรับการเคลื่อนไหว ใช้ร่วมกันเพื่อควบคุมทั้งรูปลักษณ์และการขยับ

คลิปอ้างอิงควรยาวแค่ไหน?

3-8 วินาที สั้นเกินไปข้อมูลไม่พอ ยาวเกินไปโมเดลสับสน

ใช้คลิปอ้างอิงคนเดินสร้างตัวละครอื่นได้ไหม?

ได้ เช่น ใช้คลิปคนเดินกับตัวละครหุ่นยนต์ก็จะถ่ายทอดท่าเดินเดียวกัน

ความละเอียดคลิปควรเท่าไร?

720p ขึ้นไป คลิปความละเอียดต่ำให้ผลลัพธ์ด้อยลง

ใช้คลิปอ้างอิงเดียวกันสร้างหลายฉากได้ไหม?

ได้ สามารถใช้คลิปเดียวกันกับพรอมต์ที่ต่างกันเพื่อสร้างฉากหลากหลาย โดยคงจังหวะการเคลื่อนไหวเดิม

Top comments (0)