DEV Community

Cover image for Video auf 40 Sekunden verlängern mit Gemini Omni 1.1 Flash
Emre Demir
Emre Demir

Posted on Originally published at apidog.com

Video auf 40 Sekunden verlängern mit Gemini Omni 1.1 Flash

Gemini Omni 1.1 Flash: Videos per Szenenerweiterung auf 40 Sekunden verlängern

Gemini Omni 1.1 Flash generiert 10-sekündige Clips. Mit der Szenenerweiterung fügen Sie pro Aufruf weitere 10 Sekunden hinzu – bis zu einer kumulativen Länge von 40 Sekunden.

Apidog heute testen

Die Funktion existierte bereits im Vorabmodell, war damals aber nur eingeschränkt brauchbar: Als Kontext diente lediglich die letzte Sekunde des bisherigen Materials. Dadurch blieben Farben grob konsistent, während Kleidung, Kamerabewegungen und andere Details häufig wechselten.

Die GA-Veröffentlichung vom 27. August 2026 erweitert den Kontext auf die letzten 10 Sekunden. Google beschreibt das Ergebnis als „verbesserte visuelle Konsistenz und narrative Kohärenz“.

Dieser Leitfaden zeigt, wie Sie Szenen erweitern, welche Grenzen gelten und wie Sie verhindern, dass eine 40-sekündige Sequenz im dritten Segment auseinanderfällt.

Der grundlegende Erweiterungsaufruf

Die Erweiterung verwendet die Files API. Laden Sie den Clip hoch und übergeben Sie dessen URI zusammen mit einem Prompt, der die nächste Handlung beschreibt:

import base64
from google import genai

client = genai.Client()

video_file = client.files.upload(file="my_video.mp4")

interaction = client.interactions.create(
    model="gemini-omni-1.1-flash",
    input=[
        {"type": "document", "uri": video_file.uri},
        {"type": "text", "text": "Continue the scene."},
    ],
)

with open("extended.mp4", "wb") as f:
    f.write(base64.b64decode(interaction.output_video.data))
Enter fullscreen mode Exit fullscreen mode

Uploads werden asynchron verarbeitet. Fragen Sie deshalb zunächst den Dateistatus ab:

import time

while video_file.state == "PROCESSING":
    time.sleep(10)
    video_file = client.files.get(name=video_file.name)

if video_file.state == "FAILED":
    raise ValueError(video_file.state)
Enter fullscreen mode Exit fullscreen mode

Wenn das Video aus Omni in derselben Sitzung stammt, können Sie den Upload überspringen und die Interaktions-ID verketten. Dieser Pfad spart Tokens und erhält mehr Sitzungszustand:

res2 = client.interactions.create(
    model="gemini-omni-1.1-flash",
    previous_interaction_id=res1.id,
    input="The camera pulls back to reveal the whole street.",
)
Enter fullscreen mode Exit fullscreen mode

Der API-Walkthrough behandelt weitere Optionen, darunter Auflösung und Auslieferungsformat.

Einen Charakter in die Erweiterung einbeziehen

Sie können Referenzmedien an eine Erweiterung anhängen und im Prompt darauf verweisen. Hochgeladene Referenzen erhalten Slots wie <IMAGE_REF_0> und <IMAGE_REF_1>:

video_file = client.files.upload(file="my_video.mp4")
character_img = client.files.upload(file="character.png")

interaction = client.interactions.create(
    model="gemini-omni-1.1-flash",
    input=[
        {"type": "document", "uri": video_file.uri},
        {"type": "document", "uri": character_img.uri},
        {"type": "text", "text": "Extend this video: have the character shown in <IMAGE_REF_0> enter the scene and wave."},
    ],
)
Enter fullscreen mode Exit fullscreen mode

Videoreferenzen werden ebenfalls unterstützt, sind aber auf drei Clips mit jeweils maximal drei Sekunden begrenzt. Das Modell nutzt sie für Bewegung und Aussehen; Audio aus Referenzclips wird ignoriert.

Grenzen der Szenenerweiterung

Bevor Sie eine Sequenz planen, sollten Sie diese Einschränkungen kennen:

  • 40 Sekunden sind das Maximum: Eine Generierung plus drei Erweiterungen ergeben vier Segmente mit jeweils 10 Sekunden.
  • Erweiterungen hängen nur an: Sie können kein Material am Anfang oder in der Mitte einfügen. Ist Segment zwei fehlerhaft, müssen Sie ab dort neu generieren.
  • Hochgeladene Eingaben dürfen maximal 10 Sekunden lang sein: Mehrstufige Ketten mit previous_interaction_id sind davon nicht betroffen.
  • Keine Dialoge bei erweiterten Uploads: Hochgeladene Clips können erweitert werden, aber beim Upload-Erweiterungspfad lässt sich kein Dialog hinzufügen.
  • Regionale Einschränkungen: Das Hochladen und Bearbeiten von Videos ist im Europäischen Wirtschaftsraum, in der Schweiz und im Vereinigten Königreich nicht verfügbar. Von Omni generierte Videos können dort weiterhin bearbeitet werden. Der Pfad über previous_interaction_id funktioniert daher weiterhin, der Upload-Pfad nicht.
  • Nur ein Video als Eingabe: Das Modell kann nicht über mehrere Eingabevideos hinweg Schlussfolgerungen ziehen.

Den gesamten Ablauf vor dem Rendering planen

Eine 40-sekündige Sequenz in 720p kostet ungefähr 4,06 US-Dollar an Videoausgabe. Driftet die Geschichte im dritten Segment ab, müssen Sie oft die Segmente drei und vier neu generieren. Dabei können Details verloren gehen, die am Anfang von Segment drei noch funktioniert haben.

Entwerfen Sie deshalb zunächst den gesamten Ablauf in 360p. Die Generierung ist bis zu 60 % schneller und kostet etwa ein Drittel. Die vier Segmente kosten dann ungefähr 1,35 US-Dollar. Sobald die Sequenz funktioniert, rendern Sie sie mit denselben validierten Prompts in 720p oder höher neu. Der Preisartikel enthält die vollständige Berechnung.

Legen Sie die Auflösung im Antwortformat fest:

interaction = client.interactions.create(
    model="gemini-omni-1.1-flash",
    input=[
        {"type": "document", "uri": video_file.uri},
        {"type": "text", "text": "Continue the scene."},
    ],
    response_format={"type": "video", "resolution": "360p"},
)
Enter fullscreen mode Exit fullscreen mode

Prompts für vier stabile Segmente

Die folgenden Muster funktionieren bei Erweiterungen zuverlässiger:

Beschreiben Sie die Änderung, nicht die gesamte Szene. Das Modell kennt bereits die letzten 10 Sekunden. Eine vollständige Wiederholung kann dazu führen, dass es die bestehende Szene neu interpretiert. „Die Kamera fährt auf die Tür zu“ ist besser als eine erneute Beschreibung des gesamten Raums.

Fordern Sie eine Bewegung pro Segment an. Zwei Ereignisse innerhalb von zehn Sekunden führen häufig zu einer überstürzten Darstellung. Planen Sie pro Segment eine zentrale Aktion.

Definieren Sie Kontinuitätsanker. Formulierungen wie „dieselbe rote Jacke“ oder „derselbe niedrige Kamerawinkel“ helfen dem Modell, wichtige Details über die Naht hinweg beizubehalten.

Akzeptieren Sie die Nur-Anhängen-Grenze. Planen Sie die Sequenz in der tatsächlichen Wiedergabereihenfolge. Den Anfang später zu korrigieren, ohne nachfolgende Segmente neu zu generieren, ist nicht möglich.

Der Veo-Prompt-Leitfaden beschreibt weitere Prinzipien, die sich auch auf andere Videomodelle übertragen lassen.

Erweiterungen reproduzierbar testen

Vier verkettete Aufrufe erzeugen vier mögliche Stellen, an denen sich Modelländerungen bemerkbar machen. Speichern Sie deshalb jede Stufe als eigene Anfrage in Apidog. Legen Sie Datei-URIs und Interaktions-IDs in Umgebungsvariablen ab, damit Sie einzelne Segmente erneut ausführen können, ohne die gesamte Kette manuell aufzubauen.

Prüfen Sie außerdem die Antwortstruktur. Eine Erweiterung mit höherer Auflösung kann die Datei über 4 MB vergrößern und dadurch den Wechsel von inline Base64 zu einer URI erforderlich machen. Setzen Sie das Timeout deutlich höher als den Standardwert, da Erweiterungen länger dauern als die ursprüngliche Generierung: Das Modell muss zunächst den 10-sekündigen Kontext analysieren.

Der Apidog-Download hilft beim Einrichten dieser Teststrecke.

FAQ

Wie lang kann ein Gemini-Omni-Video sein?

Kumulativ 40 Sekunden: eine 10-sekündige Generierung plus drei 10-sekündige Erweiterungen.

Kann ich ein selbst gefilmtes Video erweitern?

Ja, wenn die Eingabe maximal 10 Sekunden lang ist und Sie sich außerhalb des EWR, der Schweiz und Großbritanniens befinden. Laden Sie den Clip über die Files API hoch und übergeben Sie seine URI.

Kann ich am Anfang eines Clips etwas hinzufügen?

Nein. Die Erweiterung fügt ausschließlich Material am Ende hinzu.

Warum ändert mein Charakter zwischen Segmenten sein Aussehen?

Wahrscheinlich beschreibt Ihr Prompt die gesamte Szene neu, statt nur die nächste Änderung zu nennen. Benennen Sie explizit, was gleich bleiben muss, und übergeben Sie bei Bedarf ein Charakterbild als Referenz.

Kostet jede Erweiterung extra?

Ja. Jede Erweiterung berechnet ihre eigenen 10 Sekunden Videoausgabe sowie die Eingabetokens für den gelesenen Kontext.

Was mache ich, wenn ich mehr als 40 Sekunden benötige?

Veo 3.1 erweitert Videos jeweils um sieben Sekunden auf bis zu 148 Sekunden, allerdings nur in 720p. Der Modellvergleich erklärt den Kompromiss. Der Veo-3.1-API-Leitfaden enthält die Integrationsdetails.

Fazit

Szenenerweiterung macht Omni von einer Demo zu einem nutzbaren Produktionswerkzeug – vorausgesetzt, Sie planen die Kette im Voraus:

  1. Storyboarden Sie die vier Schlüsselmomente.
  2. Validieren Sie den gesamten Ablauf in 360p.
  3. Beschränken Sie jeden Erweiterungsprompt auf eine zentrale Bewegung.
  4. Definieren Sie Kontinuitätsanker für Charaktere und Kamera.
  5. Rendern Sie erst dann die funktionierende Version in 720p oder höher.

Top comments (0)