Stopping the Stream: A Pythonic Guide to Controlling OpenAI Responses

Bia Silva — Thu, 27 Mar 2025 21:10:22 +0000

Hey there, Python devs! 👋

Let’s explore a practical approach to giving users control over stopping those AI-generated responses?

The Scenario

Imagine you're building a FastAPI application that uses OpenAI's API. You've got streaming responses working smoothly, but there's one thing missing: the ability for users to stop the stream mid-generation.

The Challenge

Stopping a stream isn't as straightforward as you might think. OpenAI's API keeps pumping out tokens, and you need a clean way to interrupt that flow without breaking your entire application.

The Solution

Here's a killer implementation that'll make your users happy:

import asyncio
from fastapi import FastAPI, WebSocket
from openai import AsyncOpenAI
from typing import Optional

class StreamController:
    def __init__(self):
        self.stop_generation = False

    def request_stop(self):
        self.stop_generation = True

class AIResponseGenerator:
    def __init__(self, client: AsyncOpenAI):
        self.client = client
        self.stream_controller = StreamController()

    async def generate_streaming_response(self, prompt: str):
        # Reset the stop flag
        self.stream_controller.stop_generation = False

        try:
            stream = await self.client.chat.completions.create(
                model="gpt-3.5-turbo",
                messages=[{"role": "user", "content": prompt}],
                stream=True
            )

            full_response = ""
            for chunk in stream:
                # Check if stop was requested
                if self.stream_controller.stop_generation:
                    break

                if chunk.choices[0].delta.content:
                    content = chunk.choices[0].delta.content
                    full_response += content
                    yield content

        except Exception as e:
            print(f"Stream generation error: {e}")

    def stop_stream(self):
        # Trigger the stop mechanism
        self.stream_controller.request_stop()

Let's unpack what's happening here:

StreamController: This is our traffic cop. It manages a simple boolean flag to control stream generation.
AIResponseGenerator: The main class that handles AI response streaming.
- Uses AsyncOpenAI for non-blocking API calls
- Implements a generator that can be stopped mid-stream
- Provides a stop_stream() method to interrupt generation

Pro Tips

🚀 Performance: This approach is memory-efficient and doesn't block the event loop.
🛡️ Error Handling: Includes basic error catching to prevent unexpected crashes.
🔧 Flexibility: Easy to adapt to different streaming scenarios.

Potential Improvements

Add timeout mechanisms
Implement more granular error handling
Create a more sophisticated stop mechanism for complex streams

See u guys!

Utilizando domínio personalizado do Registro.br com Fly.io

Bia Silva — Thu, 20 Mar 2025 13:10:53 +0000

A Fly.io é uma plataforma avançada para implantação de aplicações, permitindo que desenvolvedores disponibilizem seus aplicativos globalmente de forma eficiente. Com ela, seu app pode rodar automaticamente em diversos locais ao redor do mundo, graças ao proxy globalmente distribuido sem necessidade de configuração, isolamento de hardware e conexões WireGuard VPN instantâneas. O processo de deploy é simplificado e permite escalar para milhares de instâncias sem complicações.

Neste guia, detalharei o passo a passo para configurar sua aplicação corretamente. Vamos lá! 🚀

Passo 1: Criar sua Aplicação na Fly.io

Se ainda não realizou o deploy da sua aplicação, siga estes passos:

Instale o Fly CLI

   curl -L https://fly.io/install.sh | sh

Após a instalação, reinicie seu terminal.

Faça login na Fly.io

   flyctl auth login

Crie e faça o deploy do seu app

   flyctl launch

Siga as instruções exibidas no console para configurar seu aplicativo.

Verifique se a aplicação está rodando

   flyctl status -a your-app-name

Se sua aplicação estiver ativa, você verá seu status e o subdomínio atribuído (por exemplo, your-app-name.fly.dev).

Passo 2: Configurar o DNS no Registro.br

Liste os endereços IPv4 e IPv6 da sua aplicação

   fly ips list -a your-app-name

Configurar os Registros DNS no Registro.br
- Acesse a seção Configurar Zona DNS e clique em Nova Entrada.
- Adicione as seguintes entradas:
  - Tipo: A Nome do host: Deixe em branco Endereço IP: Utilize o valor de IPv4 obtido no passo anterior.
  - Tipo: AAAA Nome do host: Deixe em branco Endereço IP: Utilize o valor de IPv6 obtido no passo anterior.
Salve a Configuração e aguarde a propagação do DNS (que pode levar de alguns minutos a algumas horas).

Passo 3: Criar Certificado de Validação

Crie um novo certificado SSL

   fly certs create your-domain.com.br

Verifique se o domínio está corretamente configurado

   flyctl certs show your-domain.com.br

Se tudo estiver correto, a Fly.io emitirá um certificado SSL para seu domínio.

Teste seu Domínio
- Abra um navegador e acesse https://your-domain.com.br.
- Seu aplicativo Fly.io agora deve estar acessível pelo seu domínio personalizado!

Solução de Problemas

Problemas com SSL: Certifique-se de que as configurações do DNS correspondem às fornecidas pela Fly.io e verifique o status do certificado com:

  flyctl certs list

Verifique os Logs para Erros:

  flyctl logs

Conclusão

Seguindo esses passos, você poderá conectar seu domínio do Registro.br à Fly.io com sucesso. Sua aplicação estará acessível por meio de um domínio personalizado, com segurança SSL e alta disponibilidade.

DEV Community: Bia Silva