Para uma empresa que recebe milhares de solicitações de atendimento, minimizar os custos operacionais é um ponto estratégico essencial para permitir que o negócio escale, mantendo as despesas o mais baixo possível. A cada ticket aberto por um usuário que precisa de atendimento humano, há um custo envolvido. Portanto, garantir que os usuários consigam tirar suas dúvidas ou resolver determinados problemas sem a necessidade de intervenção humana é fundamental para que o negócio continue escalando sem aumentar os custos operacionais.
Nesse contexto de melhoria da experiência do usuário, possibilitando que ele resolva dúvidas sem precisar entrar em contato com um atendimento humano, uma solução bastante natural em tempos de IA é treinar um modelo com todos os artigos do help center da empresa. Isso permite enriquecer os resultados das pesquisas feitas pelos usuários.
Neste post, pretendo falar um pouco sobre um possível design que pode ser utilizado para melhorar a experiência dos usuários em uma empresa que recebe milhares de solicitações de atendimento diariamente.
Em sistemas distribuídos, a única certeza que temos é que, em algum momento, algo falhará. Para garantir a resiliência do sistema, temos um API Gateway que implementa mecanismos de segurança, como rate limit, autenticação, autorização, etc., repassando a requisição do front-end para a API-IA-Integration. Essa API é responsável por realizar alguns tratamentos no input do usuário, como filtro de inputs indesejados, que podem ser consultados em uma base de dados aparte, além de possíveis tratamentos na resposta da IA, como a adição de tags de links nos trechos em que uma URL é exibida para o usuário.
Outro mecanismo de resiliência bastante importante é o circuit breaker, implementado na API-IA-Integration. Em caso de indisponibilidade da API-IA, a pesquisa do usuário pode ser redirecionada para o Elasticsearch, retornando apenas uma lista de artigos que melhor correspondem ao input do usuário. Dessa forma, o usuário não receberá uma resposta sumarizada pela IA, mas ao menos terá uma lista de artigos disponíveis como resposta.
Os artigos são criados e atualizados dentro da plataforma do Zendesk e são copiados tanto para o Elasticsearch quanto para a base utilizada no treinamento do modelo de IA. A API-IA é responsável por definir os parâmetros do modelo e realizar engenharia de prompt, adicionando novos parâmetros além do que foi fornecido como input pelo usuário além do treinamento e ajustes do modelo .
Um job é responsável por manter atualizadas tanto a base utilizada pelo modelo quanto a do Elasticsearch. Assim, garantimos que, sempre que um artigo for atualizado no Zendesk, tanto o modelo quanto o fallback serão atualizados. A quantidade de artigos cadastrados é relativamente pequena, cerca de 3 mil, mas o modelo treinado pela IA poderá utilizar, além dos artigos, tickets que já foram resolvidos com intervenção humana, garantindo uma maior precisão nas respostas.
Para identificar melhorias no modelo, são coletados feedbacks dos usuários sobre as respostas. Esses feedbacks são enviados para uma fila de mensagens e encaminhados para um data lake, que é utilizado para análise de dados e para identificar pontos de melhoria no modelo.
É necessário destacar alguns pontos:
- Em qualquer tipo de modelo de IA, há grandes chances de "alucinação". Logo, é importante deixar claro para os usuários que as respostas fornecidas pelo modelo podem conter erros.
- Para minimizar custos e reduzir as chances de o modelo responder algo inadequado, é essencial incluir filtros de input/output para detectar palavrões, dados sensíveis, etc.
- Coletar feedback dos usuários sobre as respostas é extremamente importante para que a equipe possa avaliar a qualidade do modelo e melhorá-lo continuamente.
Espero ter conseguido compartilhar um pouco do que aprendi trabalhando nesse contexto. Se gostou do artigo, me siga nas minhas redes sociais!
Abraços do Capela
Instagram//Threads : @ gui.natan
Linkedin: https://www.linkedin.com/in/guilhermealecrim/
Top comments (0)