Conheça o Janas: execução de IA em C para computadores pessoais

#braziliandevs #opensource #github #tecnologia

O que é

O Janas é um projeto experimental para inteligência artificial escrito em linguagem C por Maurizio Cammalleri. Ele não possui dependências além da biblioteca padrão da linguagem. Seu primeiro componente, chamado Janas-LLM, foi projetado para executar modelos de linguagem baseados em mistura de especialistas (MoE) em computadores comuns, utilizando CPU ou GPU. O programa armazena os pesos no disco, realiza o streaming dos especialistas necessários via SSD NVMe e mantém na memória RAM os que são usados com frequência. Isso permite rodar modelos grandes mesmo em máquinas com limite de memória RAM.

Para quem serve

A ferramenta é destinada a desenvolvedores e entusiastas de IA que querem executar modelos grandes localmente em computadores pessoais, como notebooks com 32 GB de RAM. É compatível com sistemas Linux e Windows de arquitetura x86-64. Por ser um projeto em fase inicial de desenvolvimento, serve principalmente para testes e experimentos de desempenho.

Como começar

No Linux (Ubuntu 22.04, Debian 12 ou superior), faça o download do arquivo janas-linux-x86_64.tar.gz, extraia o conteúdo e execute ./janas-chat pelo terminal. No Windows 10 ou 11 (x86-64), baixe o arquivo janas-windows-x86_64.zip, descompacte a pasta e rode o comando .\janas-chat. Ao abrir o programa, você poderá selecionar um dos modelos suportados para ser baixado e verificado.

Instalação

curl -LO https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz
tar xf janas-linux-x86_64.tar.gz && cd janas
./janas-chat                     # the models it knows: pick one, it is downloaded and checked