CURADOR DE IA

No Grupo Stefanini , acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global.

Ao se juntar à Stefanini , você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui!
Junte-se a nós e seja parte da mudança!
LI#REMOTE
LI#RL1

Garantir que soluções baseadas em inteligência artificial entreguem respostas:

- Corretas e relevantes;

- Seguras e éticas;

- Consistentes e reproduzíveis;

- Adequadas ao contexto do negócio;

- Alinhadas às políticas da empresa;

- Com boa experiência para o usuário;

- Com baixo risco de: Alucinação; Viés; Exposição de dados.

Principais atribuições
1. Avaliação de respostas de IA

- Analisar respostas geradas por diferentes modelos de IA;

- Avaliar: Precisão; Clareza; Completude; Relevância; Aderência ao contexto; Identificar: Alucinações; Contradições; Vieses; Informações sem evidência;

- Verificar se a IA compreendeu corretamente a intenção do usuário;

- Avaliar a aderência às instruções, políticas e critérios de negócio;

- Classificar respostas conforme critérios previamente definidos;

- Comparar diferentes: Modelos; Prompts; Versões; Configurações.

2. Criação de critérios e rubricas de avaliação

- Definir métricas de qualidade para cada caso de uso;

- Criar rubricas com critérios objetivos e escalas de pontuação;

- Estabelecer exemplos de respostas: Boas; Aceitáveis; Inadequadas;

- Criar conjuntos de testes, casos-limite e cenários adversariais;

- Padronizar o processo de avaliação entre os curadores;

- Garantir consistência e rastreabilidade das avaliações.

3. Curadoria de dados e exemplos

- Selecionar e organizar exemplos para: Treinamento; Avaliação; Melhoria de prompts;

- Revisar bases de conhecimento utilizadas pela IA;

- Identificar dados: Desatualizados; Duplicados; Incompletos; Conflitantes;

- Garantir qualidade, representatividade e diversidade dos dados;

- Remover informações sensíveis ou inadequadas;

- Criar conjuntos de dados de validação e benchmark;

- Manter o histórico das alterações e decisões de curadoria.

4. Engenharia e melhoria de prompts

- Criar, revisar e otimizar prompts;

- Definir: Instruções de sistema; Contextos; Restrições; Formatos de resposta;

- Testar técnicas como: Uso de exemplos; Decomposição de tarefas; Classificação; Validação;

- Avaliar o impacto das mudanças nos prompts;

- Reduzir ambiguidades e comportamentos inconsistentes;

- Trabalhar em conjunto com áreas de: Produto; Desenvolvimento; Negócio;

- Criar padrões reutilizáveis de prompts e templates.

5. Testes de segurança e comportamento

- Realizar testes de: Prompt injection; Jailbreak; Manipulação da IA;

- Avaliar a exposição indevida de dados confidenciais;

- Testar respostas para temas sensíveis;

- Identificar riscos de: Viés; Discriminação; Tratamento desigual;

- Avaliar se a IA recusa adequadamente solicitações impróprias;

- Criar testes de regressão;

- Apoiar processos de red teaming de IA.

6. Monitoramento de qualidade em produção

- Acompanhar o comportamento da IA após a implantação;

- Analisar feedbacks, reclamações e avaliações dos usuários;

- Identificar degradação de desempenho;

- Monitorar indicadores de: Erro; Abandono; Retrabalho; Escalonamento humano;

- Investigar incidentes relacionados às respostas da IA;

- Recomendar ajustes em: Prompts; Modelos; Dados; Fluxos;

- Manter processos de melhoria contínua.

7. Governança e documentação

- Documentar critérios, decisões, testes e resultados;

- Elaborar relatórios de qualidade dos modelos e soluções;

-