Levando LLMs para o Computador da Internet

O marco de Ignition está completo. Isso traz grandes modelos de linguagem (LLMs) para o Computador da Internet, tornando possível usar LLMs de dentro de contratos inteligentes canister com apenas algumas linhas de código.

O que é o Marco de Ignition?

O marco Ignition, parte da trilha de IA Descentralizada do Roadmap do ICP, foca na conexão de canisters a LLMs fora da cadeia. Com esta atualização, os desenvolvedores podem usar IA em suas dapps sem uma configuração complexa, graças aos trabalhadores de IA.

O que há de novo no Ignition

LLM Bibliotecas para Integração Fácil

Para simplificar a conexão dos seus canisters aos LLMs, adicionámos bibliotecas em três linguagens utilizadas no Internet Computer: Motoko, Rust e TypeScript.

Estas bibliotecas tornam rápido o uso de LLMs nas suas dapps. Por exemplo, aqui está como um canister pode interagir com o Llama 3.1 usando apenas algumas linhas de código Motoko:

import LLM "mo:llm";

aguardar LLM.chat(#Llama3_1_8B).comMensagens([
#system_ {
content = "Você é um assistente útil.";
},
#user_ {
content = "Qual é o tamanho do sol?";
},
]).send();

O exemplo acima pode ser encontrado e experimentado no ICP Ninja. Mostra como um canister pode enviar uma consulta a um LLM e obter uma resposta, com uma configuração mínima.

Aqui está outro exemplo mostrando como chamar LLMs com ferramentas:

import LLM "mo:llm";

ator {
public func example() {
let response = await LLM.chat(#Llama3_1_8B)
.withMessages([
#system_ {
content = "Você é um assistente útil."
},
#user {
content = "Qual é o tempo em Zurique?"
},
])
.withTools([LLM.tool("get_weather")
.withDescription("Obter o tempo atual para uma localização")
.withParameter(
LLM.parameter("location", #String)
.withDescription("A localização para obter o tempo")
.éRequerido()
)
.build()
])
.send();
};
}

Você pode encontrar uma demonstração ao vivo do uso das ferramentas aqui, bem como o código-fonte da demonstração aqui.

Trabalhadores de IA

Para conectar canisters com LLMs off-chain, construímos um produto mínimo viável de trabalhadores de IA, um sistema simples que permite que os canisters recuperem dados de LLMs off-chain. Os trabalhadores de IA tratam da comunicação, permitindo que os canisters enviem solicitações e recebam respostas dos LLMs em tempo real.

Atualmente, os trabalhadores de IA suportam Llama 3.1 8B, Llama 4 Scout e Qwen 3 32B. Essas opções oferecem aos desenvolvedores flexibilidade para escolher o LLM certo para o seu projeto.

Aqui está um diagrama que ilustra como os trabalhadores de IA são utilizados internamente para transmitir solicitações a fornecedores de LLM off-chain.

Como funciona:

1. Os canisters enviam prompts para um "canister LLM" através das bibliotecas LLM que mencionámos. Este é um canister especial configurado para receber prompts LLM.
2. O canister LLM armazena estes prompts numa fila.
3. Os trabalhadores de IA consultam continuamente o canister LLM em busca de prompts.
4. Os trabalhadores de IA executam os prompts e retornam a resposta para o canister LLM, que a devolve ao canister chamador.

Casos de Uso do Mundo Real

Os desenvolvedores já estão a usar as bibliotecas LLM para construir dapps criativos, como:

• Carteiras com recursos de chat: Adicionando IA conversacional a carteiras de criptomoedas para melhor interação com o usuário ( em breve a ser lançada no OISY )
• DAOs com análise de sentimento: Usando LLMs para analisar o sentimento da comunidade e orientar decisões de portfólio como no Alice DAO.

Estes exemplos mostram como trabalhadores de IA podem suportar uma gama de aplicações no Computador Internet.

Por que isso importa e como começar

O marco Ignition torna simples para os desenvolvedores integrarem LLMs nos seus projetos de Internet Computer, permitindo novos tipos de dapps, como chatbots, ferramentas de análise e aplicações DeFi impulsionadas por IA. Ao combinar LLMs com funcionalidades da Internet Computer, como Chain Fusion, chamadas HTTPS e aleatoriedade em cadeia, os desenvolvedores podem construir soluções criativas e poderosas.

Pronto para experimentar? Explore o projeto LLM Chatbot no ICP Ninja, confira a demonstração ao vivo ou mergulhe no código e exemplos no nosso repositório.

Trazer LLMs para o Computer Internet foi originalmente publicado na The Internet Computer Review no Medium, onde as pessoas continuam a conversa destacando e respondendo a esta história.