DEV Community: Sinai Rivera

Mi Agente se Rebeló: Intentando Crear un Bedrock Agent con S3 (y el Famoso Error '[retrieved information]'

Sinai Rivera — Sat, 22 Nov 2025 01:14:55 +0000

TL;DR

En este lab vas a construir un Bedrock Agent totalmente funcional que puede:

Leer tus documentos en S3
Extraer información
Ejecutar funciones
Responder preguntas de forma estructurada
Razonar paso a paso usando Amazon Nova Micro

Todo 100% desde la consola, sin Studio ni código manual.

Aprenderas a:
Crear el bucket, subir PDFs, crear un Agent, añadir Actions, conectar S3, probar preguntas reales y validar respuestas con grounding.

Tiempo estimado: 20–30 min
Servicios: Bedrock Agents, S3, IAM
Costo: Muy bajo (< $0.25)

Decidí crear este lab porque quiero entender cómo funcionan los agentes de IA en AWS de forma simple, práctica y explicable. Quiero poder guiar a otros, enseñar conceptos de GenAI sin complejidad innecesaria y construir demos útiles para mi portfolio técnico.

🧭 Metadatos rápidos

Campo	Valor
Categoría CB	AI/ML
Servicios AWS	Amazon Bedrock Agents, Amazon S3
Requisitos previos	Cuenta AWS, S3 + Bedrock habilitados, región us-east-1
Costos estimados	Bajo (< $.25)
Arquitectura	Ver diagrama

🗺️ Tabla de contenidos (ToC)

¿Por qué importa?
Arquitectura / Qué vas a construir
Prerrequisitos
Paso a paso
Errores

💡 ¿Por qué importa?

Las empresas están migrando de “solo usar LLMs” a construir agentes inteligentes con pasos bien definidos, acceso a datos y grounding real.

Un agente puede:

Planear
Razonar
Recuperar datos
Ejecutar acciones
Responder en contexto sin que tú tengas que escribir el pipeline completo.

🧰 Arquitectura

📄 PDFs en S3
⬇️
⚙️ Bedrock Agent Action
⬇️
🤖 Amazon Nova Micro razonando
⬇️
💬 Respuesta final basada en tus documentos

🛠️ PASO 1 — Crear el bucket S3 (para tus documentos)

En la consola AWS, busca S3
Clic en Create bucket.
Configura:
Bucket name: kb-agent-sina-lab
Region: us-east-1
Block Public Access: ON (todas)
Versioning: OFF
Encryption: SSE-S3 (default)
Clic en Create bucket

🛠️ PASO 2 — Subir los documentos a tu bucket S3

Vamos a subir los tres PDFs que acabas de crear.

2.1 Ir al bucket

En la consola AWS, ve a S3
Haz clic en tu bucket: kb-sina-agent-lab (o el nombre que hayas puesto)

2.2 Subir los archivos

Haz clic en Upload
Luego clic en Add files
Selecciona:
- company-overview.pdf
- internal-policies.pdf
- service-pricing.pdf
Haz clic en Upload

2.3 Confirma que están ahí

En tu bucket S3 deberías ver ahora los documentos

🛠️ PASO 3 Crear tu Bedrock Agent

3.1 Abrir Amazon Bedrock

En la consola AWS, en el buscador superior escribe: Bedrock
En el menú de la izquierda, selecciona: Agents

3.2 Crear un agente nuevo

Haz clic en el botón Create agent
Llena estos campos:
- Agent name: sina-agent-rag-lab
- Description: Agente que responde preguntas usando documentos internos almacenados en Amazon S3 mediante acciones automáticas.
Click create.
Selecciona el modelo del agente.Para este lab usaremos:Amazon Nova Micro (el modelo gratuito + seguro + recomendado por AWS para agents)
Instrucciones para el agente: Eres un asistente corporativo diseñado para responder preguntas usando exclusivamente la información contenida en los documentos internos de la compañía almacenados en Amazon S3.
1. Clic save.

🛠️ PASO 4 Crear el Action Group que lee S3

4.1. Busca la sección de Action groups:

Haz clic en: Add
Action group name: read-company-docs
Description (opcional): read documents from S3 and retrieve relevant content
Action group type: Select define with function details (tú describes qué hace la función (nombre, descripción, tipo de acceso S3) y Bedrock te genera la Lambda automáticamente)
Action group invocation: Select quick create a new lambda.

4.2 Action group function

name: get_company_policy
Description: Function that searches for information within the corporate documents stored in S3. It simulates retrieving internal policies, processes, or relevant details to answer the user’s questions.

4.3 Parameters: Tu agent necesita saber qué información debe enviarle a la función Lambda cuando quiera usarla.

Clic en Add parameter
Name: query
Description: user question looking info
Type: String
Required: True
Clic Create

🛠️ PASO 5 Guardar y preparar el agente

Una vez creado el Action Group:

Clic arriba en Save
Luego clic en Prepare (esto valida instrucciones + modelo + actions)

🛠️ PASO 6 Test Agent

En este paso vamos a probar el agente haciendo una serie de preguntas relacionadas al documento de la empresa que tenemos en el bucket S3

6.1. En la parte derecha de tu pantalla veras test agent

Dentro de tu agente:
En el recuadro vacio escribe una pregunta real basadas en los PDFs que generaste:
- "Que dice la compania acerca de la vision o la mision"

ERROR

Aqui recibimos un error y gracias a los servicios de AWS podemos investigar el error que nos dio y como resolverlo.

🛠️ Paso 7 Resolver el error de respuesta

Podemos resolver el problema de varias maneras. Una forma es buscando el error y leer específicamente donde surgió el error. Sin embargo, si eres nuevo y no tienes mucha experiencia leyendo código, AWS tiene un recurso llamado Amazon Q.

Amazon Q es chatbox que te permite hacerle preguntas acerca de lo que estás construyendo y te ayuda a resolver.

Vamos a hacer esa opción primero.

7.1 En el mensaje de error clic en show trace

Clic en Trace step 1
En la parte superior derecha verás el icono de Amazon Q

7.2 Pregunta a Amazon Q

En el cuadro en blanco escribe la pregunta "Por qué mi agente dice que no tiene la disponibilidad de ayudarme con mi solicitud"

Segun Amazon Q, las posibles causas son:

Causas Comunes y Soluciones:

1. Problema de Permisos y roles

Permisos IAM: Verifica que el rol de servicio de tu agente tenga los permisos necesarios para invocar el modelo base.

2. Problemas de Configuración del Agente

Claridad en las instrucciones: Las instrucciones de tu agente pueden ser demasiado restrictivas o poco claras. Intenta simplificarlas y especificar mejor qué debe hacer el agente.

Nombres de grupos de acciones: Si estás usando action groups, evita usar guiones (-) en los nombres; utiliza guiones bajos (_) en su lugar.

🛠️ Paso 8 Resolvamos

Vamos a resolver cada una de las recomendaciones de Amazon Q

8.1 Identificar el service role de tu agente

Ve a Amazon Bedrock en la consola.
En el menú izquierdo, entra en Agents.
Haz clic en tu agente.
En la pantalla del agente, busca: "Permissions" en azul.

8.2 Revisar los permisos del rol

Dentro del rol:Ve a la pestaña Permissions.
En Permissions policies revisa qué políticas están adjuntas.
Haz clic

En el capture se ve que:

AmazonBedrockAgentBedrockFoundationModelPolicy_S1GQAOZ17SK
solo tiene access level limitado a leer unicamente, lo que significa que

❌ NO puede invocar modelos
❌ NO puede llamar a Nova Micro
❌ NO puede generar respuestas
✔️ Solo puede leer metadata

8.3. Vamos a arreglarlo

Haz clic en "JSON" arriba a la derecha
En tu screenshot está el botón: JSON
Haz clic en editar y borra lo politica actual
Pega la siguiente politica:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AmazonBedrockAgentBedrockFoundationModelPolicyProd",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": "*"
        }
    ]
}

Clic Next y luego guarda

8.4 Probemos el agente nuevamente

En tu agente ve a action details
Selecciona: Edit in Agent builder
Clic save and exit
Clic Prepare
Formula nuevamente la pregunta

❌ Error😆😆😆😆

Si esto no solucionó el problema, debemos avanzar a la próxima causa posible

🛠️ Paso 9 Resolvamos Causa numero 2:

Problemas de Configuración del Agente

9.1 Revisar y simplificar las Agent instructions

Ve a Amazon Bedrock → Agents.
Haz clic en tu agente.
En el panel del agente, busca la sección: Instructions

Solucion 1:
La palabra EXCLUSIVELY es la que mata el agente.

¿Qué pasa? Si el agente NO encuentra información en S3 que responda exactamente la pregunta…por diseño tiene que bloquear la respuesta.

Y la respuesta por defecto del agente cuando no puede cumplir la instrucción es: “Sorry, I am unable to assist you with this request.”

Cambiar las instrucciones del agente

Reemplaza tu prompt completo por este:

You are a helpful corporate assistant. Use information from the company's internal documents stored in Amazon S3 when it is relevant. If the information is not available, provide the best possible answer based on your general reasoning and politely indicate when the exact information is not found.

Solucion 2

El action group tiene un nombre inválido. El action group se llama: read-company-docs
Los guiones - causan fallas en Bedrock Agents 2024–2025.

Cambia de read-company-docs a read_company_docs
Clic save
Clic Prepare
Formula nuevamente la pregunta

Posible error 😆😆😆😆 Respuesta incompleta

A pesar de que el agente respondió la pregunta, estaba incompleta. ¿Qué hacemos en este caso? Veamos el trace para determinar las posibles causas del mensaje recibido

En el mensaje de error clic en show trace
Clic en Trace step 1
Copia el código y pégalo nuevamente en Amazon Q

Basado en Amazon Q, estos son las posibles causas de la respuesta incompleta:

1 . El agente está mostrando "[retrieved information]" porque:

Las instrucciones o prompts internos están escritos como si existiera una Knowledge Base, pero no tenemos una Knowledge Base conectada y además estamos usando Action Groups, que NO necesitan Knowledge Base.

Por eso, cualquier frase dentro del agente que diga:

“según la información recuperada…”
“based on the retrieved information…”
“from the knowledge base…”
o el placeholder literal "[retrieved information]"

no se puede reemplazar por nada, porque no hay una fuente de datos para recuperarlo.

2. El agente entonces devuelve el placeholder tal cual, creando la confusión.

Entonces, hay algún texto dentro de las instrucciones o en el Prompt templates o en el Action group outputs que contiene placeholders o instrucciones que asumen una Knowledge Base.

🛠️Paso 10 Resolvamos

10.1 Revisemos la instruccion nuevamente y eliminemos cualquier mención a:

Knowledge Base
Documentos internos
Información recuperada
Placeholders como [retrieved information]

El agente debe trabajar solo con Action Groups, no con documentos.

¿Qué está mal aquí?

Menciona documentos internos
Menciona S3
Le dice al agente que SOLO puede responder usando “documentos”
Esto obliga al agente a buscar retrieved information → pero no hay Knowledge Base
Cambiemos la instruccion a:

You are a corporate assistant designed to answer questions using the information provided by the system and the available action groups. Do not assume information; always rely on the results returned by the actions.

Clic save
Clic Prepare
Formula nuevamente la pregunta

El agente deberia de responder, sin embargo esta pidiendo el nombre de la compañía. Vamos a responderle y ver que respuesta genera

Hice otra pregunta:

¿Que dice la compañía acerca de la confidenciabilidad?

Pregunta acerca de la información de confidenciabilidad

¿Que dice acerca de la politica de confidenciabilidad?

A este punto, a pesar de que respondió la pregunta, debería ser mas sencillo y es probable que haya un error.

Aunque este lab no terminó con una solución perfecta, decidí dejar el último error abierto a propósito. La comunidad crece cuando compartimos no solo lo que logramos, sino también lo que nos reta.

Para mí, tambien es valioso abrir el proceso, mostrar los aprendizajes reales y crear espacios donde otros también puedan aprender, aportar y mejorar este camino juntos.

Más adelante les mostraré l aparte dos de este proyecto, pero por ahora, lo importante es construir comunidad a través de la transparencia y el aprendizaje compartido.

🧯 Errores que se presentaron:

Síntoma	Causa probable	Solución aplicada / aprendida
“Sorry, I am unable to assist with this request.”	El rol del agente no tenía permisos para `bedrock:InvokeModel`	Ajustar política IAM en JSON para permitir invocación del modelo.
El agente pide aclaraciones (ej. “¿Cuál es el nombre de la compañía?”)	Activación automática de `user__askuser` por orquestación interna	Añadir reglas en las instrucciones del agente para evitar clarificaciones.
Placeholder `[retrieved information]` aparece en la respuesta	Instrucciones asumían un Knowledge Base inexistente	Actualizar instrucciones para usar únicamente Action Groups.
Action Group no se ejecuta	Parámetro obligatorio o nombre inválido con guiones	Marcar `required = false` y renombrar con `_`.
Respuestas incompletas	Doble `<thinking>` o estructura inválida	Forzar un solo `<thinking>` seguido de un `<answer>`.
Lambda sin devolver contenido útil	Lambda auto-generada sin lógica	Reemplazar con una función que lea archivos del bucket.

📚 Recursos oficiales

Amazon Bedrock Agents
https://docs.aws.amazon.com/bedrock/latest/userguide/agents.html

Action Groups
https://docs.aws.amazon.com/bedrock/latest/userguide/agents-actions.html

S3 — Developer Guide
https://docs.aws.amazon.com/AmazonS3/latest/dev/Welcome.html

IAM Policies
https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies.html

AWS Samples Repository
https://github.com/aws-samples

Breaking Bedrock: What Really Happens When Your Agent Doesn’t Work

Sinai Rivera — Sat, 22 Nov 2025 01:14:48 +0000

TL;DR

In this lab you’re going to build a fully functional Bedrock Agent that can:

Read your documents in S3
Extract information
Execute functions
Answer questions in a structured way
Reason step by step using Amazon Nova Micro
All 100% from the console, no Studio and no manual code.

You will learn to:

Create a bucket, upload PDFs, create an Agent, add Actions, connect S3, test with real questions, and validate responses using grounding.

Estimated time: 20–30 min
Services: Bedrock Agents, S3, IAM
Cost: Very low (< $0.25)

When I decided to build a Bedrock Agent, I wasn’t trying to be fancy, I just wanted to truly understand how this thing worked instead of relying on wizards and hoping for the best.

Spoiler: The agent took its job way too seriously.

I ran into random errors, confusing IAM messages, and moments where I literally asked myself, “Why does AWS behave differently depending on the day of the week?”
But instead of giving up, I treated every issue like part of the learning process.

That’s why I wrote this: not a perfect guide, but the real story of what actually happened, what confused me, what I learned, and how you can avoid the same pain.

🧭 Quick Metadata

Field	Value
CB Category	AI/ML
AWS Services	Amazon Bedrock Agents, Amazon S3
Prerequisites	AWS account, S3 + Bedrock enabled, region `us-east-1`
Estimated costs	Low (< $0.25)
Architecture	See diagram

🗺️ Table of Contents (ToC)

💡Why It Matters
🧰Architecture / What You Will Build
📌Prerequisites
🛠️Step by Step
❌Errors
🚧What I would do differently next time
📚 Official Resources

💡 Why It Matters

Companies are moving from “just using LLMs” to building intelligent agents with structure, reasoning, and real data access.

A well-designed agent can:

Plan
Reason
Retrieve data
Execute actions
Respond in context…without you having to manually code the entire pipeline.

That’s why understanding this now isn’t just helpful — it’s a skill that’s becoming essential.

🧰 Architecture

📄 PDFs in S3
⬇️
⚙️ Bedrock Agent Action
⬇️
🤖 Amazon Nova Micro reasoning
⬇️
💬 Final answer based on your documents

🧱 Prerequisites

AWS account with billing enabled
Amazon Bedrock enabled in us-east-1
Access to create:

S3 buckets
IAM roles / policies
Bedrock Agents

🪜 Step by Step

🛠️ STEP 1 — Create the S3 Bucket (for your documents)

In the AWS Console, search for S3
Click Create bucket
Configure:
- Bucket name: kb-agent-sina-lab
- Region: us-east-1
- Block Public Access: ON (all options)
- Versioning: OFF
- Encryption: SSE-S3 (default)
Click Create bucket

🛠️ STEP 2 — Upload the Documents to Your S3 Bucket

We’re going to upload the three PDFs you just created.

2.1 Go to the bucket

In the AWS Console, go to S3
Click your bucket: kb-agent-sina-lab (or the name you used)

2.2 Upload the files

Click Upload
Then click Add files
I selected:
- company-overview.pdf
- internal-policies.pdf
- service-pricing.pdf
Click Upload

2.3 Confirm they’re there

In your S3 bucket you should now see the documents:

🛠️ STEP 3 — Create Your Bedrock Agent

3.1 Open Amazon Bedrock

In the AWS Console search bar, type: Bedrock
In the left menu, select Agents

3.2 Create a new Agent

Click Create agent
Fill in the fields:
- Agent name: sina-agent-rag-lab
- Description: Agent that answers questions using internal documents stored in Amazon S3 via automatic actions.
Click Create
Select the Agent model. For this lab, we’ll use: Amazon Nova Micro (the free + secure model recommended by AWS for agents).
Agent instructions: "You are a corporate assistant designed to answer questions using exclusively the information stored in the company’s internal documents in Amazon S3."
Click Save

🛠️ STEP 4 — Create the Action Group That Reads from S3

4.1 Find the “Action groups” section

Click Add

Action group name: read-company-docs
Description (optional): "read documents from S3 and retrieve relevant content"
Action group type: select Define with function details
- Here you describe what the function does (name, description, S3 access type) and Bedrock auto-generates the Lambda for you.
Action group invocation: select create a new Lambda

4.2 Action group function

Name: get_company_policy
Description: "Function that searches for information within the corporate documents stored in S3. It simulates retrieving internal policies, processes, or relevant details to answer the user’s questions."

4.3 Parameters

Your agent needs to know what information to send to the Lambda function when it wants to use it.

Click Add parameter
Name: query
Description: user question looking for information
Type: String
Required: True
Click Create

🛠️ STEP 5 — Save and Prepare the Agent

Once the Action Group is created:

Click Save at the top
Then click Prepare (this validates instructions + model + actions)

🛠️ STEP 6 — Test the Agent

In this step we’re going to test the Agent by asking questions related to the company document stored in the S3 bucket.

6.1 Use Test agent on the right side

Inside your Agent view, on the right panel, in the text box, type a real question based on the PDFs you created, for example:

“What does the company say about its mission or vision?”

ERROR

We got an error – and thanks to AWS services, we can investigate that error and fix it.

🛠️ STEP 7 Fix the Response Error

We can solve this problem in different ways.

One option is to look at the detailed error and read exactly where it failed.

However, if you’re new and don’t have much experience reading code, AWS has a resource called Amazon Q.

Amazon Q is a chatbot that lets you ask questions about what you’re building and helps you debug.

Let’s use that option first.

7.1 In the error message, click Show trace

Click Trace step 1
In the upper-right corner, you’ll see the Amazon Q icon

7.2 Ask Amazon Q

In the chat box, type:

“Why is my agent saying it is unable to help me with my request?”

According to Amazon Q, the possible causes are:

Common Causes and Fixes

1. Permissions and roles

IAM permissions:We need to verify that the service role of the agent has the necessary permissions to invoke the base model.

2. Agent configuration issues

Instructions: The agent instructions may be too restrictive or unclear. We need try to simplifying them and specifying more clearly what the agent should do.
Action group names: if we’re using action groups, we need to avoid using hyphens (-) in the names; use underscores (_) instead.

🛠️ STEP 8 Let’s Fix It

We’re going to apply each recommendation from Amazon Q.

8.1 Identify the service role of your Agent

Go to Amazon Bedrock in the console
In the left menu, click Agents
Click your Agent
On the Agent screen, look for the blue Permissions link

8.2 Check the role permissions

Inside the role, go to the Permissions tab
In Permissions policies, review the attached policies
Click the policy to open it

From the screenshot, we can see that:

AmazonBedrockAgentBedrockFoundationModelPolicy_S1GQAOZ17SK
has a limited access level – read-only. That means:

❌ It cannot invoke models
❌ It cannot call Nova Micro
❌ It cannot generate responses
✔️ It can only read metadata

8.3 Let’s fix it

Click the JSON tab on the top right
Click Edit, remove the existing policy content
Paste the following policy:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AmazonBedrockAgentBedrockFoundationModelPolicyProd",
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": "*"
    }
  ]
}

Click Next, then Save

8.4 Test the Agent again

In your Agent, go to Action details
Select Edit in Agent builder
Click Save and exit
Click Prepare
Ask the same question again

❌ Still Error 😆😆😆😆

If this didn’t fix the problem, we move to the next likely cause.

🛠️ STEP 9 Fix Cause #2: Agent Configuration

9.1 Review and simplify Agent instructions

Go to Amazon Bedrock then Agents
Click your Agent
In the Agent panel, look for the Instructions section

Solution 1: The word “EXCLUSIVELY” is killing the Agent

What happens?
If the Agent does not find information in S3 that exactly answers the question… by design it must block the response.

And the default answer in that case is:“ Sorry, I am unable to assist you with this request.”

Update the Agent instructions

Let's replace the entire prompt with:

"You are a helpful corporate assistant. Use information from the company's internal documents stored in Amazon S3 when it is relevant. If the information is not available, provide the best possible answer based on your general reasoning and politely indicate when the exact information is not found."

Solution 2: Invalid Action Group name

The Action Group is called: read-company-docs
The hyphens - can cause failures in Bedrock Agents (2024–2025).

Change read-company-docs to read_company_docs
Click Save
Click Prepare
Ask the question again

Possible error 😆😆😆😆 — Incomplete response

Even though the Agent responded, the answer was incomplete.

What do we do now? Let’s check the trace to understand the possible causes.

In the error message, click Show trace
Click Trace step 1
Copy the code and paste it again into Amazon Q

Based on Amazon Q, these are the possible causes of the incomplete response:

1. The Agent is showing [retrieved information] because:

The instructions or internal prompts are written as if a Knowledge Base existed, but we do not have a Knowledge Base connected and we are using Action Groups, which do not need a Knowledge Base.

So any phrase inside the Agent, like:

“according to the retrieved information…”
“based on the retrieved information…”
“from the knowledge base…”
or the literal placeholder [retrieved information]

…cannot be replaced with anything, because there is no data source to fill it.

2. The Agent then returns the placeholder as-is, causing confusion.

So there is some text either in Agent instructions, Prompt templates, or Action group outputs that contains placeholders or assumptions about a Knowledge Base.

🛠️ STEP 10 — Let’s Fix That

10.1 Review the instructions again and remove any mention of:

Knowledge Base
Internal documents (as a hard requirement)
“Retrieved information”
Placeholders like [retrieved information]

For this part of the lab, the Agent should work only with Action Groups, not with a Knowledge Base.

What’s wrong here?

It mentions internal documents
It mentions S3 explicitly
It tells the Agent it can ONLY respond using “documents”
That forces the Agent to look for retrieved information → but there is no Knowledge Base

Let’s change the instruction to:

"You are a corporate assistant designed to answer questions using the information provided by the system and the available action groups. Do not assume information; always rely on the results returned by the actions."

Click Save
Click Prepare
Ask the question again

The Agent should now respond, but it's asking for the company name.
Let’s answer and see the response

I asked another question:

“What does the company say about confidentiality?”

Then:

“What does it say about the confidentiality policy?”

At this point, even though the Agent answered the question, it should have been simpler, so there’s probably still something off.

And that’s okay.For me, it’s valuable to open the process, show real learnings, and create spaces where others can also learn, contribute, and improve this path together.

🧯 Errors

Symptom	Probable cause	Fix / Lesson learned
“Sorry, I am unable to assist with this request.”	Agent role didn’t have permission for `bedrock:InvokeModel`	Update IAM policy JSON to allow model invocation.
Agent asks for clarification (e.g., “What is the company name?”)	Automatic `user__askuser` triggered by internal orchestration	Add rules in Agent instructions to avoid unnecessary clarifications.
Placeholder `[retrieved information]` appears in the response	Instructions assume a non-existing Knowledge Base	Update instructions to use only Action Groups.
Action Group doesn’t execute	Required parameter / invalid name with hyphens	Set `required = false` and rename using `_` instead of `-`.
Incomplete responses	Double `<thinking>` or invalid structure	Enforce a single `<thinking>` followed by a single `<answer>`.
Lambda not returning useful content	Auto-generated Lambda has no actual logic	Replace it with a function that reads files from the S3 bucket.

🚧 What I Would Do Differently Next Time

Even though this project didn’t end in a perfect “everything works on the first try” moment (nothing in AWS ever does), it showed me exactly where I want to improve on the next iteration.

Here’s what I would approach differently moving forward:

1. Start with the IAM permissions first

Most of my errors came from missing or half-complete IAM policies.
Next time, I’ll begin by writing a clean, minimal policy before touching the agent.

It would have saved me more than a hour of detective work.

2. Keep the instructions extremely explicit

I learned that Agents love to ask unnecessary clarifying questions.
Next time, I’ll write more direct rules to force the agent to act instead of overthinking.

Basically: Fewer “what do you mean?” and more “this is what I’m doing.”

3. Build and test the Lambda function manually first

The auto-generated Lambda is a nice idea… but useless in real scenarios.
Next time, I’ll be careful when buildings the function, test it with sample inputs, and then plug it into the Action Group.

4. Don’t rely on assumptions about the Knowledge Base

If the Agent expects a KB but you’re not using one, it will hallucinate placeholders like [retrieved information].

Next time: I willl remove all KB references from the instructions if the project doesn’t include one.

5. Document the failures as I go

This write-up felt much easier because I documented the errors while I hit them, so next time, I’ll keep a dedicated “error journal” open from the beginning.

📚 Official Resources

Amazon Bedrock Agents
https://docs.aws.amazon.com/bedrock/latest/userguide/agents.html

Action Groups
https://docs.aws.amazon.com/bedrock/latest/userguide/agents-actions.html

S3 — Developer Guide
https://docs.aws.amazon.com/AmazonS3/latest/dev/Welcome.html

IAM Policies
https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies.html

Dejé de hablar de AI y empecé a construir: Construye un RAG simple con Amazon Bedrock Knowledge Bases.

Sinai Rivera — Mon, 17 Nov 2025 13:52:51 +0000

TL;DR:
En este lab vas a construir, paso a paso, un RAG completo con Amazon Bedrock Knowledge Bases sobre tus propios PDFs en S3, usando Titan Embeddings para crear el índice vectorial y hacer consultas naturales con grounding en tus documentos. En ~25–35 minutos montas la arquitectura en us-east-1, validas respuestas, revisas costos, monitoreo y seguridad, y te llevas un blueprint sencillo para entender GenAI “de verdad” y poder explicarla a otros.

Veremos: Creación del bucket S3, ingestión de documentos, generación de embeddings, configuración del índice vectorial y consultas inteligentes.

Tiempo estimado: 25–35 min

Decidí crear este lab porque quiero entender GenAI de verdad —no solo para un examen, sino para poder explicarlo, documentarlo y ayudar a otros que están empezando como yo.

Este post es parte de mi proceso para crecer en AWS, reforzar mi base en IA, mejorar mi habilidad de enseñar y construir contenido útil para la comunidad técnica.

🧭 Metadatos rápidos

Campo	Valor
Categoría CB	AI/ML
Servicios AWS	Amazon Bedrock, Knowledge Bases, Amazon S3, Titan Embeddings
Requisitos previos	Cuenta AWS, permisos para Bedrock + S3, región `us-east-1`
Costos estimados	Bajo (menos de \$0.50)
Arquitectura	Ver diagrama abajo

🗺️ Tabla de contenidos (ToC)

¿Por qué importa?
Arquitectura / Qué vas a construir
Prerrequisitos
Paso a paso
Validación y pruebas
Observabilidad (CloudWatch)
Seguridad y buenas-prácticas
Costos y optimización
Errores comunes (Troubleshooting)
Qué sigue
Recursos oficiales

💡 ¿Por qué importa?

Hoy casi todas las empresas quieren agregar IA generativa a sus aplicaciones, pero no basta con “preguntarle” a un modelo:

necesitan respuestas basadas en su propio conocimiento, documentos internos, políticas, PDFs, etc.

Eso es RAG.

AWS lo simplifica con Knowledge Bases for Amazon Bedrock, que hace por ti:

Extracción
Vectorización (Titan Embeddings)
Indexación
Orquestación de RAG
Consultas con grounding seguro

Mi motivación: Este fue uno de los labs que más me costaba crear con sandboxes. Así que lo reconstruí desde cero en una cuenta AWS Free Tier real, y quiero dejar los pasos exactos para que otros no sufran como yo.

🧰 Arquitectura / Qué vas a construir

Diagrama simple del flujo:

📄 **Documentos (PDF/Markdown/TXT)**  
⬇️  
🪣 **S3 Bucket (raw docs)**  
⬇️  
🧠 **Knowledge Base**  
- Titan Embeddings  
- Vector Index  
⬇️  
🤖 **Modelo en Amazon Bedrock** (ej. Claude 3 Haiku)  
⬇️  
💬 **Respuesta aumentada con contexto**

Puntos clave

Titan hace los embeddings de forma automática.
No necesitas manejar el índice vectorial manualmente (AWS lo gestiona).
El modelo genera respuestas basadas en tus documentos, no solamente en lo que ya trae “pre-entrenado”.

✅ Prerrequisitos

Cuenta AWS Free Tier
Región: us-east-1
Amazon Bedrock habilitado (primer uso requiere activarlo)
Permisos IAM de laboratorio:
- AmazonBedrockFullAccess
- AmazonS3FullAccess

🛠️ Paso a paso

Este lab se realiza 100% desde la consola de AWS.

1) Crear un bucket S3

En tu consola AWS, busca: S3
Clic en Create bucket
Configura:

Bucket name:
```
 kb-sina-rag-lab
```
Region: us-east-1
Block Public Access: todas ON
Versioning: opcional (dejalo off)
Encryption: Deja lo que viene por defecto (SSE-S3)

2) Subir documentos

Ve a S3 en tu consola AWS
Abre tu bucket: kb-sina-rag-lab
Haz clic en Upload

Clic en Add files
Selecciona tus 3 PDFs recién creados

Clic en Upload
Espera a que todos aparezcan con “Upload succeeded”

3) Crear la Knowledge Base

Ve a Amazon Bedrock en la consola
En el menú lateral, selecciona: Knowledge bases
Clic en Create knowledge base

3.1 Basic settings

Knowledge base name: En la pantalla de creación indica el nombre de tu Knowledge base

rag-lab-sina-kb

Description: (opcional) RAG Knowledge Base para pruebas de GenAI usando mis documentos en S3.

3.2 Data source: Amazon S3.

Bucket: Selecciona kb-sina-rag-lab. Clic next

3.3 Embeddings model: Titan Text Embeddings v2. Este modelo genera los embeddings para el vector store.

3.4 Vector store: OpenSearch Serverless (auto-configurado). Y deja la configuración automática (es perfecta para este lab).

Knowledge Base creado

4) Sincronizar e indexar

En tu pantalla actual, ve abajo a la sección: Data source (1)
Click Sync

Espera a que el estado cambie a:

Sync successful
Status: Up to date
o simplemente green check ✔️

⏳ Esto puede tardar entre 30 segundos y 2 minutos dependiendo del tamaño de los PDFs.

5) Probar tu RAG en la consola

Aquí vas a ver:

Cómo la KB busca contexto en tus documentos
Cómo selecciona los fragmentos relevantes
Cómo el modelo responde usando solo lo que tú subiste
Cero alucinaciones (si el documento está claro)

1. En tu pantalla actual (rag-lab-sina-kb)

Busca el botón:Test Knowledge Base (y haz clic). Esto te abrirá una consola de chat simple.

📝 Nota importante Activar modelos generativos en Bedrock

Antes de probar la Knowledge Base, asegúrate de tener habilitado al menos un modelo generativo en Amazon Bedrock.

Para usar la pestaña Test de la Knowledge Base, necesitas seleccionar un modelo generativo. En cuentas nuevas de AWS (incluyendo Free Tier), los modelos Titan y Claude pueden no estar disponibles de inmediato.

La opción compatible y disponible por defecto es: Amazon Nova Micro

Después de habilitarlo, ya podrás probar tus consultas.

2. Escribe un prompt como:

Que dicen los documentos acerca de Bedrock?

3. Verifica que el modelo responde con grounding en tus archivos:

📊 Observabilidad (CloudWatch)

En este laboratorio trabajamos con OpenSearch Serverless, que es administrado por AWS. A diferencia de OpenSearch tradicional, esta versión no crea log groups automáticamente a menos que habilitemos políticas de logging específicas.

En CloudWatch → Log groups verás que no se generan logs por defecto, lo cual es normal para este tipo de servicio administrado y además ayuda a mantener el laboratorio dentro del Free Tier.

Sin embargo, sí podemos observar actividad del laboratorio en:

✔️ Bedrock Metrics

CloudWatch → Metrics → Bedrock
Aquí se registran las invocaciones del modelo y la latencia de cada llamada.

En AWS Console → escribe CloudWatch
Menú izquierdo → Metrics
Selecciona Bedrock
Luego seleccion All Models Lds

Click en todas las metricas

✔️ CloudTrail (auditoría)

En la consola busca CloudTrail

Entra en el servicio
En el menú izquierdo, selecciona:Event history
En la barra de filtros selecciona: Event Source
En el buscador escribe: bedrock.amazonaws.com

Esto confirma que la KB está funcionando incluso si los logs de OpenSearch no se generan automáticamente.

🔐 Seguridad y buenas prácticas

Aunque este es un laboratorio simple, es importante seguir buenas prácticas desde el inicio. Aquí están las recomendaciones aplicables específicamente a una Knowledge Base de Bedrock:

Nunca expongas tu bucket (mantén Block Public Access ON).
Crea roles separados si piensas conectar la KB a aplicaciones.
Usa documentos en texto claro cuando sea posible (mejor chunking).

💸 Costos y optimización

Costo estimado del lab:

Titan Embeddings → unos centavos por la generación de embeddings (muy barato).
Bedrock – Invocations → solo un par de llamadas (menos de 1 centavo cada una).
OpenSearch Serverless (Vector Store) → modo on-demand, el costo mínimo posible.
Amazon S3 → almacenamiento muy pequeño (tus PDFs y TXT), prácticamente $0.
Total aproximado: $0.20–$0.50

🧯 Errores comunes

Síntoma	Causa	Solución
KB no sincroniza	Ruta de S3 incorrecta	Revisar bucket y prefijo
No aparecen documentos	IAM insuficiente	Revisar permisos en rol de KB
Respuestas sin grounding	PDFs mal parseados	Usar formato TXT/Markdown o PDFs limpios

🚀 Qué sigue

Conectar esta KB a un Bedrock Agent
Crear una API de RAG con Lambda + API Gateway
Integrar identidad con Amazon Cognito

📚 Recursos oficiales

I stopped talking about AI and started to build: Build a RAG System with Amazon Bedrock, Titan Embeddings & Knowledge Bases

Sinai Rivera — Mon, 17 Nov 2025 13:52:33 +0000

TL;DR:
In this lab, you’ll build a complete RAG workflow using Amazon Bedrock Knowledge Bases on top of your own PDFs stored in S3. Titan Embeddings will automatically create the vector index so you can run grounded, document-aware queries with a Bedrock model. In about 25–35 minutes, you’ll deploy the full architecture in us-east-1, validate responses, review costs, monitoring, and security, and walk away with a clean blueprint to truly understand GenAI—and explain it to others.

I built this lab because I want to truly understand GenAI — not just for an exam, but to teach it, document it, and help others who are starting like me.

These topics were tricky inside sandboxes, so now I’m rebuilding everything from scratch in a real AWS account to see how things work internally.

🧭 Quick Metadata

Field	Value
CB Category	AI/ML
AWS Services	Amazon Bedrock, Knowledge Bases, Amazon S3, Titan Embeddings
Prerequisites	AWS account, Bedrock enabled, S3 permissions, region: `us-east-1`
Estimated Cost	Under \$0.50
Architecture	See diagram below

🗺️ Table of Contents

Why it matters
Architecture / What you will build
Prerequisites
Step-by-step
Validation & Testing
Observability (CloudWatch)
Security Best Practices
Cost Analysis
Troubleshooting
What’s Next
Official Resources

💡 Why it matters

Companies want to integrate generative AI into their apps, but raw models aren’t enough. They need answers based on internal knowledge: PDFs, manuals, policies, emails, reports.

That’s what RAG does. AWS makes this easier with Knowledge Bases for Amazon Bedrock, which handles:

Document extraction
Embedding generation (Titan)
Vector indexing
RAG orchestration
Grounded responses

This lab was hard for me when using sandboxes, so I rebuilt it from scratch in a AWS Free Tier, and now I’m sharing the exact steps.

🧰 Architecture / What you will build

Simple flow diagram:


📄 Documents (PDF/Markdown/TXT)
⬇️
🪣 Amazon S3 (raw documents)
⬇️
🧠 Knowledge Base

Titan Embeddings

OpenSearch Vector Index
⬇️
🤖 Amazon Bedrock Model (Nova Micro / Claude)
⬇️
💬 Grounded, context-aware answer

Key Notes

Titan automatically generates embeddings.
Vector store is fully managed (OpenSearch Serverless).
Bedrock uses ONLY your documents to answer.

✅ Prerequisites

AWS Free Tier account
Region us-east-1
Bedrock enabled
IAM permissions:
- AmazonBedrockFullAccess
- AmazonS3FullAccess

🛠️ Step-by-step

1) Create an S3 bucket

Open AWS Console → search S3
Click Create bucket
Use:

Bucket name:

kb-sina-rag-lab

Region: us-east-1
Block Public Access: ALL ON
Encryption: default (SSE-S3)

2) Upload your documents

Go to your bucket: kb-sina-rag-lab
Click Upload
Click Add files
Choose your PDFs or TXT files
Click Upload

3) Create the Knowledge Base

Go to Amazon Bedrock → Knowledge Bases → Create knowledge base

3.1 Basic settings

Knowledge Base Name:: Type the name of your Kb

rag-lab-sina-kb

(Optional) Description: “RAG Knowledge Base for GenAI testing.”

3.2 Data source → Amazon S3

Select your S3 bucket.

3.3 Embeddings model

Choose:

Titan Text Embeddings v2: 3.3 Embeddings model: Titan Text Embeddings v2. Este modelo genera los embeddings para el vector store.

3.4 Vector store

Choose:

OpenSearch Serverless: OpenSearch Serverless (auto-configured). And leave the automatic configuration (it’s perfect for this lab).

Knowledge Base created:

4) Sync your data

On the same screen, scroll to Data source
Click: Sync

Status should show:

✔️ Sync successful
✔️ Status: Up to date

This may take between 30 seconds and 2 minutes depending on the size of the PDFs.

5) Test your RAG system

Here you will see:

How the Knowledge Base searches for context in your documents
How it selects the relevant chunks

1. On your current screen (rag-lab-sina-kb)
Look for the button: Test Knowledge Base (and click it). This will open a simple chat console.

⚠️ Important: Before testing the Knowledge Base, make sure you have at least one generative model enabled in Amazon Bedrock.

To use the Test tab of the Knowledge Base, you need to select a generative model. In new AWS accounts (including Free Tier), Titan and Claude models may not be available immediately.

The compatible option that is enabled by default is: Amazon Nova Micro

After enabling it, you'll be able to test your queries.

2.Test with a prompt:

Example:

What do the documents say about Amazon Bedrock?

3.Verify grounding:

📊 Observability (CloudWatch)

In this lab, we work with OpenSearch Serverless, which is managed by AWS. Unlike traditional OpenSearch, this version does not create log groups automatically unless we enable specific logging policies.

In CloudWatch → Log groups, you’ll notice that no logs are generated by default. This is normal for this type of managed service and also helps keep the lab within the Free Tier.

However, we can observe lab activity in:
✔️ Bedrock Metrics

CloudWatch → Metrics → Bedrock
Here you can see model invocations and the latency of each request.

In the AWS Console → search for CloudWatch
Left menu → Metrics
Select Bedrock
Then choose All Models Lds

Click on all metrics

✔️ CloudTrail

In the console, search for CloudTrail.

Open the service
In the left menu, select Event history
In the filter bar, choose Event Source
In the search box, type: bedrock.amazonaws.com

This confirms that the Knowledge Base is working even if OpenSearch logs are not generated automatically.

🔐 Security Best Practices

Even though this is a simple lab, it’s important to follow best practices from the start. Here are the recommendations specifically for a Bedrock Knowledge Base:

Ever expose your bucket (keep Block Public Access ON).
Create separate roles if you plan to connect the Knowledge Base to applications.
Use plain-text documents whenever possible (better chunking).

💸 Cost Analysis

Estimated cost of the lab:

Titan Embeddings → a few cents for generating embeddings (very cheap).
Bedrock – Invocations → only a couple of calls (less than 1 cent each).
OpenSearch Serverless (Vector Store) → on-demand mode, the lowest possible cost.
Amazon S3 → very small storage (your PDFs and TXT files), practically $0.
Approximate total: $0.20–$0.50

🧯 Troubleshooting

Issue	Cause	Fix
KB doesn’t sync	Wrong S3 prefix/path	Re-check bucket
Missing documents	Missing IAM permissions	Update KB execution role
No grounding	Bad PDF parsing	Prefer TXT/Markdown

🚀 What’s Next

Connect this KB to a Bedrock Agent
Build a serverless RAG API using Lambda + API Gateway
Add authentication with Amazon Cognito