Como criar um arquivo llms.txt no Jekyll e GitHub Pages

Você já quis deixar o conteúdo do seu blog mais acessível para sistemas de IA e LLMs (large language models)? Ou talvez você tenha se perguntado como fornecer uma versão “limpa” dos seus posts sem todos as tags do HTML?

O arquivo llms.txt é a solução. Ele fornece uma forma padronizada para sites exporem seu conteúdo para sistemas de IA. E se você está usando Jekyll com GitHub Pages, pode criar esse arquivo automaticamente com apenas algumas linhas e um template Liquid.

Se você acabou de começar a usar o Jekyll: ele é um gerador de sites estáticos escrito em Ruby que é perfeito para blogs especialmente quando usado no GitHub Pages. Você pode aprender mais sobre Jekyll e como começar a usa-lo neste outro post: Colocando um site no ar com Jekyll.

O que é o llms.txt

O arquivo llms.txt é um formato de texto simples projetado para tornar sites mais acessíveis para sistemas de IA e LLMs. Baseado na especificação do llmstxt.org, ele fornece uma forma padronizada de expor o conteúdo do seu site em um formato legível pelas IAs que tanto usamos hoje em dia.

A estrutura básica inclui:

• Uma breve descrição do seu site
• Informações importantes sobre seus projetos, serviços ou conteúdo
• Links para páginas ou conteúdo importantes
• Qualquer outra informação que você gostaria que sistemas de IA soubessem sobre seu site

Para um blog em Jekyll armazenado num repositório do GitHub, o llms.txt é perfeito para fornecer aos LLMs acesso direto aos seus posts em seu formato Markdown original, tornando mais fácil para a IA entender e referenciar seu conteúdo com precisão.

Criando um arquivo llms.txt

Criar um arquivo llms.txt para seu site Jekyll é relativamente simples. Você criará um novo arquivo na raiz do seu projeto Jekyll e usar Liquid para gerar automaticamente o conteúdo.

Esse é o passo a passo:

1. Criar o arquivo : No diretório raiz do seu repositóeion, crie um novo arquivo chamado llms.txt
2. Adicionar o template : Use o seguinte template como ponto de partida:

---
layout: null
---

# Feed LLM para jtemporal.com
_Gerado em: {{ site.time | date_to_rfc822 }}_

## Todos os posts
Os links abaixo levam você ao conteúdo Markdown original.

{% for post in site.posts %}- [{{ post.title }}](https://raw.githubusercontent.com/jtemporal/jtemporal.github.io/refs/heads/main/{{ post.path }})
{% endfor %}

Algumas coisas para prestar atenção:

• layout: null garante que o arquivo seja gerado como texto puro, não HTML
• {{ site.time | date_to_rfc822 }} adiciona um timestamp mostrando quando o arquivo foi gerado pela última vez
• O loop {% for post in site.posts %} cria automaticamente uma lista de todos os seus posts do blog
• {{ post.path }} dá o caminho relativo para o arquivo Markdown de cada post
• O formato de URL do GitHub raw permite acesso direto ao Markdown fonte

O resultado gerado deve ser algo assim:

Adicionar llms.txt ao _config.yml

Na lista de includes no seu arquivo _config.yml adicione o llms.txt. Essa lista tem todos os arquivos que devem ser servidos com seu site uma vez que o build seja feito. A minha ficava assim antes:

# Include list
include: [.well-known, EnJtResume.pdf, folium]

E agora também tem o llms.txt no final do array:

# Include list
include: [.well-known, EnJtResume.pdf, folium, llms.txt]

Testando suas alterações

Antes de fazer o deploy das suas alterações, é uma boa ideia testá-las localmente:

1. Faça o build do seu site localmente :

bundle exec jekyll build

1. Sirva seu site :

bundle exec jekyll serve

1. Verifique seu arquivo llms.txt : Uma vez que seu site esteja rodando (geralmente em http://localhost:4000), navegue para http://localhost:4000/llms.txt para ver seu arquivo gerado.

Você deve ver um arquivo de texto puro com as informações do seu site e uma lista de todos os seus posts do blog com links para seu conteúdo Markdown raw no GitHub. Se tudo estiver funcionando, chegou a hora de fazer o deploy!

Recapitulando

Criar um arquivo llms.txt para seu site Jekyll é um processo simples de três passos:

1. Criar o arquivo : Adicione llms.txt ao diretório raiz do seu Jekyll com o template Liquid
2. Configurar o Jekyll : Adicione llms.txt à lista include no seu _config.yml
3. Buildar e fazer deploy : Seu arquivo estará disponível em seusite.com/llms.txt

Essa abordagem mantém automaticamente seu arquivo llms.txt atualizado conforme você adiciona novos posts do blog, e fornece aos sistemas de IA acesso direto ao seu conteúdo em seu formato Markdown original. É uma ótima forma de tornar seu blog Jekyll mais acessível para o ecossistema crescente de ferramentas e serviços de IA.

A melhor parte? Uma vez configurado, não requer manutenção alguma: o Jekyll cuida de tudo automaticamente quando você fizer um novo build do seu site!