DEV Community

Cover image for Procesamiento de Contenido Multimodal con Strands Agent: Capacidad de Recordar usando Strands y FAISS
AWS Español profile image Elizabeth Fuentes L
Elizabeth Fuentes L for AWS Español

Posted on • Edited on

Procesamiento de Contenido Multimodal con Strands Agent: Capacidad de Recordar usando Strands y FAISS

#python #ai #aws #programming

🇻🇪🇨🇱 Dev.to LinkedIn GitHub Twitter Instagram YouTube Linktr

elizabethfuentes12 image

Elizabeth Fuentes L

AWS Developer Advocate

Repositorio de GitHub: Strands Agent Samples

Parte 2: Añadiendo Memoria Persistente con FAISS

En nuestro Procesamiento de Contenido Multimodal con Strands Agent y solo unas pocas líneas de código, exploramos cómo construir un agente de IA multi-modal capaz de procesar imágenes, documentos y videos usando el framework Strands Agent. Hoy, vamos un paso más allá añadiendo capacidades de memoria persistente usando FAISS (Facebook AI Similarity Search) para crear un agente que puede recordar y recuperar información entre sesiones.

🧠 Por qué Importa la Memoria

  • Conversaciones contextuales: "¿Recuerdas ese diagrama de arquitectura que te mostré ayer? ¿Cómo se relaciona con este nuevo documento?"
  • Aprendizaje progresivo: Construyendo conocimiento a lo largo del tiempo a partir de múltiples interacciones
  • Respuestas personalizadas: Adaptando respuestas basadas en tus preferencias y contenido previos
  • Continuidad entre sesiones: Manteniendo contexto incluso después de reiniciar tu aplicación

🚀 Lo que Vamos a Construir

Mejoraremos nuestro agente multi-modal con:

  • Almacenamiento de memoria potenciado por FAISS usando la herramienta mem0_memory
  • Almacenamiento persistente de información entre sesiones
  • Recuperación inteligente de memorias relevantes basada en contexto
  • Operaciones de gestión de memoria (almacenar, recuperar, listar)

🛠️ Configurando el Agente Mejorado

Comencemos configurando nuestro agente con capacidades de memoria:

import boto3
from strands.models import BedrockModel
from strands import Agent
from strands_tools import image_reader, file_read, mem0_memory, use_llm
from video_reader import video_reader

# Prompt del sistema mejorado con instrucciones de memoria
MULTIMODAL_SYSTEM_PROMPT = """ Eres un asistente útil que puede procesar documentos, imágenes y videos. 
Analiza sus contenidos y proporciona información relevante. Tienes capacidades de memoria y puedes recordar interacciones previas.

Puedes:
1. Para formatos PNG, JPEG/JPG, GIF, o WebP usa image_reader para procesar el archivo
2. Para formatos PDF, csv, docx, xls o xlsx usa file_read para procesar el archivo  
3. Para formatos MP4, MOV, AVI, MKV, WebM usa video_reader para procesar el archivo
4. Solo entrega la respuesta

Capacidades de memoria:
- Almacenar nueva información usando la herramienta mem0_memory (action="store")
- Recuperar memorias relevantes (action="retrieve")
- Listar todas las memorias (action="list")
- Proporcionar respuestas personalizadas

Reglas clave:
- Siempre incluir user_id={USER_ID} en las llamadas a herramientas
- Ser conversacional y natural en las respuestas
- Formatear la salida claramente
- Reconocer la información almacenada
- Referenciar interacciones pasadas relevantes cuando sea apropiado
"""

# Configurar Amazon Bedrock
session = boto3.Session(region_name='us-west-2')
bedrock_model = BedrockModel(
    model_id="us.anthropic.claude-3-7-sonnet-20250219-v1:0",
    boto_session=session,
    streaming=False
)

# Crear agente mejorado con capacidades de memoria
multimodal_agent = Agent(
    system_prompt=MULTIMODAL_SYSTEM_PROMPT,
    tools=[image_reader, file_read, video_reader, mem0_memory, use_llm],
    model=bedrock_model,
)
Enter fullscreen mode Exit fullscreen mode

💾 Operaciones de Memoria en Acción

1. Almacenando Contexto Inicial del Usuario

Primero, almacenemos información básica sobre nuestro usuario:

USER_ID = "eli_abc"  # Generar un ID de usuario único
content = """Hola, mi nombre es Elizabeth, pero me dicen Eli. Soy developer advocate en AWS, 
y quiero entender qué hay en imágenes, videos y documentos para mejorar mi trabajo diario."""

# Almacenar contexto del usuario en memoria
multimodal_agent.tool.mem0_memory(action="store", content=content, user_id=USER_ID)
Enter fullscreen mode Exit fullscreen mode

2. Análisis de Imagen con Almacenamiento en Memoria

Ahora analicemos una imagen y almacenemos automáticamente los resultados:

print("=== 📸 ANÁLISIS DE IMAGEN CON MEMORIA ===")
image_result = multimodal_agent(
    f"Analiza la imagen data-sample/diagram.jpg en detalle y describe todo lo que observas. "
    f"Recuerda esta información para más tarde. USER_ID: {USER_ID}"
)
print(image_result)
Enter fullscreen mode Exit fullscreen mode

El agente:

  • Procesará la imagen usando image_reader
  • Analizará el diagrama de arquitectura
  • Almacenará automáticamente el análisis en memoria usando mem0_memory
  • Proporcionará una descripción detallada

3. Análisis de Video con Memoria

Procesemos un video y almacenemos su contenido:

print("=== 🎬 ANÁLISIS DE VIDEO CON MEMORIA ===")
video_result = multimodal_agent(
    "Analiza el video data-sample/moderation-video.mp4 y describe en detalle "
    "las acciones y escenas que observas. Almacena esta información en tu memoria."
)
print(video_result)
Enter fullscreen mode Exit fullscreen mode

4. Procesamiento de Documento con Memoria

Procesar y recordar contenido de documentos:

print("=== 📄 ANÁLISIS DE DOCUMENTO CON MEMORIA ===")
doc_result = multimodal_agent(
    "Resume como json el contenido del documento data-sample/Welcome-Strands-Agents-SDK.pdf "
    "y almacena esta información en tu memoria."
)
print(doc_result)
Enter fullscreen mode Exit fullscreen mode

🔍 Recuperación y Gestión de Memoria

Recuperando Memorias Específicas 

# Recuperar memorias relacionadas con una consulta específica
retrieved_memories = multimodal_agent.tool.mem0_memory(
    action="retrieve", 
    query="¿Qué servicios están en la imagen?", 
    user_id=USER_ID
)
print("Memorias Recuperadas:", retrieved_memories)
Enter fullscreen mode Exit fullscreen mode

Listando Todas las Memorias Almacenadas 

# Listar todas las memorias almacenadas para el usuario
all_memories = multimodal_agent.tool.mem0_memory(
    action="list", 
    user_id=USER_ID
)
print("Todas las Memorias Almacenadas:", all_memories)
Enter fullscreen mode Exit fullscreen mode

Probando la Recuperación de Memoria Multi-Modal

El verdadero poder viene al probar la memoria entre diferentes tipos de medios:

print("=== 🧠 PRUEBA DE RECUPERACIÓN DE MEMORIA ===")
memory_result = multimodal_agent(
    "¿Qué recuerdas sobre la imagen, video y documento que te mostré anteriormente?"
)
print(memory_result)
Enter fullscreen mode Exit fullscreen mode

🎯 Casos de Uso del Mundo Real

Este agente mejorado con memoria abre numerosas aplicaciones prácticas:

1. Asistente de Documentación Técnica

  • Recordar diagramas de arquitectura, fragmentos de código y documentación
  • Proporcionar respuestas contextuales basadas en tu historial de proyecto
  • Rastrear cambios y evolución de tus diseños técnicos

2. Pipeline de Análisis de Contenido

  • Procesar lotes de imágenes, videos y documentos
  • Construir una base de conocimiento de contenido analizado
  • Generar reportes basados en insights acumulados

3. Gestión de Conocimiento Personal

  • Almacenar y recordar información de varios tipos de medios
  • Crear conexiones entre diferentes piezas de contenido
  • Construir un asistente de IA personalizado que crezca con tus necesidades

4. Procesamiento de Contenido Educativo

  • Analizar materiales educativos en diferentes formatos
  • Recordar preferencias y patrones de aprendizaje de estudiantes
  • Proporcionar recomendaciones de aprendizaje personalizadas

🚀 Comenzando

  1. Clona el repositorio: 
git clone https://github.com/elizabethfuentes12/strands-agent-samples
cd notebook
Enter fullscreen mode Exit fullscreen mode
  1. Instala las dependencias: 
pip install -r requirements.txt
Enter fullscreen mode Exit fullscreen mode

  1. Configura las credenciales de AWS para acceso a Bedrock

  2. Prueba el notebook:

multi-understanding-with-memory.ipynb
Enter fullscreen mode Exit fullscreen mode

La combinación de las capacidades multi-modales de Strands Agent con memoria persistente crea una base para construir aplicaciones inteligentes y conscientes del contexto que pueden verdaderamente entender y recordar tu contenido.

📚 Recursos

¡Mantente al tanto de más implementaciones de Strands Agent!

¡Gracias!

🇻🇪🇨🇱 Dev.to Linkedin GitHub Twitter Instagram Youtube
Linktr

elizabethfuentes12 image

Elizabeth Fuentes L

AWS Developer Advocate

Top comments (1)

Collapse
 
camila_hinojosa_anez profile image
Camila Hinojosa Anez •

Me encanta! Lo probaré con enfoque en el mundo educativo 🤩