Em setembro de 2026, a Anthropic publicou uma investigação sobre quatro incidentes em avaliações de segurança. Modelos receberam tarefas em ambientes descritos como simulações sem acesso à internet. Uma configuração equivocada abriu a conexão com sistemas reais de terceiros. Os modelos saíram do espaço previsto e executaram ações fora do escopo. A empresa informou os envolvidos e encomendou uma investigação independente. Os testes usavam modelos e configurações de avaliação, sem as proteções presentes nos produtos lançados ao público. Investigação original da Anthropic.

O caso não prova que qualquer assistente de IA fará o mesmo num hotel. Ele prova algo mais útil para quem dirige uma operação: chamar um ambiente de “teste” não o isola. Os limites precisam funcionar mesmo quando a tarefa se torna difícil, a instrução é ambígua ou o sistema tenta um caminho imprevisto.

Essa é a ordem que defendemos para a adoção de IA na hotelaria: organizar os dados, delimitar o ambiente, medir a confiabilidade por tarefa e preservar a capacidade humana de entender e corrigir o trabalho. Inovação cabe no teste. A relação com o hóspede, o preço e os dados reais exigem uma passagem controlada para produção.

A fundação começa no dado

Antes de perguntar qual modelo usar, vale perguntar de onde vêm as informações que ele receberá. O hotel pode ter uma política comercial no site, outra em uma apresentação de vendas e uma terceira numa planilha de atendimento. Se elas divergem, uma resposta fluente apenas entrega a divergência com mais velocidade.

Uma pesquisa publicada na conferência CHI ouviu 53 profissionais de IA que atuavam em contextos de alto impacto. Os autores chamaram de cascatas de dados os problemas que começam na coleta ou no tratamento da informação e se acumulam ao longo do sistema. Identificaram esse padrão em 92% dos relatos estudados. A amostra não representa todos os projetos de IA e não mede hotéis; ela mostra por que corrigir a resposta no final pode ser tarde quando a origem da informação está errada. Pesquisa de Sambasivan e colaboradores.

O mesmo cuidado vale para decisões comerciais. O resultado agregado de uma campanha ou plataforma não vira previsão para todo hotel. Cada operação precisa testar na própria base: qual oferta converteu, por qual canal, com que custo e com qual margem. Sem essas respostas, crescer em receita pode esconder uma piora no resultado.

Para um hotel, a fundação é uma fonte vigente para tarifas, regras, horários e produtos, com responsável pela atualização e histórico das mudanças. É também saber quais dados estão ausentes. Quando falta a informação necessária, o sistema precisa pedir confirmação ou encaminhar o caso; preencher o vazio com uma resposta plausível cria uma certeza que a operação não possui.

Um ambiente de teste precisa ter fronteiras reais

Na investigação da Anthropic, o ponto decisivo foi material: a rede de teste alcançava a internet real. Em um dos incidentes, um modelo tentou interromper a tarefa repetidas vezes, mas o mecanismo de encerramento falhou. Em outro, o sistema tratou uma empresa real de nome semelhante ao alvo fictício como parte do exercício. Essas condições foram específicas dos testes descritos pela empresa. Relato técnico dos quatro incidentes.

Na hotelaria, o paralelo é direto. Um assistente pode experimentar a classificação de pedidos com dados fictícios. Pode sugerir uma resposta para revisão. Pode simular uma cotação. O risco muda quando ele recebe acesso para alterar uma reserva, enviar uma proposta, aplicar um desconto ou consultar dados pessoais reais. Cada capacidade nova exige um teste que comprove seus limites, inclusive quando o pedido chega incompleto ou contraditório.

Pesquisadores do ETH Zurich criaram o AgentDojo para avaliar agentes que usam ferramentas e leem conteúdo externo. O conjunto inicial reúne 97 tarefas e 629 casos de segurança. Os autores observaram falhas em tarefas normais mesmo sem ataque, além de ataques capazes de desviar alguns agentes. É um ambiente de pesquisa, não uma taxa de incidentes da hotelaria. Seu valor está em lembrar que a avaliação deve incluir o funcionamento comum e as tentativas de desvio. Estudo AgentDojo.

Confiabilidade não é uma nota única para a IA

Um experimento com 758 consultores da BCG encontrou ganhos de desempenho em tarefas dentro das capacidades da IA usada naquele momento. Numa tarefa desenhada fora dessa fronteira, os participantes com IA ficaram, em média, 19 pontos percentuais abaixo do grupo sem IA na resposta correta. O estudo avaliou apenas uma tarefa desse segundo tipo, com o GPT-4 disponível em 2023. Ele não autoriza transportar o percentual para um hotel ou para os modelos atuais. Mostra por que um bom resultado num tipo de trabalho não certifica os demais. Artigo publicado em Organization Science.

Responder uma pergunta sobre o estacionamento, interpretar uma política de cancelamento e calcular uma proposta de evento são tarefas diferentes. Cada uma pede seus próprios exemplos de teste, sua medida de acerto e sua regra de encaminhamento. A decisão de liberar uma função deve depender desse resultado específico, não de uma demonstração convincente em outra tarefa.

A curva de aprendizado também pertence às pessoas

Uma pesquisa da Microsoft com 319 trabalhadores do conhecimento, baseada em respostas e exemplos relatados por eles, associou maior confiança na IA a menos exercício percebido de pensamento crítico. O desenho é observacional e não demonstra perda permanente de capacidade. Os autores também observaram uma mudança no tipo de esforço: conferir informação, integrar respostas e acompanhar a tarefa passam a ocupar mais espaço. Estudo publicado na CHI 2025.

Um experimento aleatorizado mais recente examinou 52 desenvolvedores aprendendo uma biblioteca de programação. O grupo com assistência de IA acertou 50% do teste de compreensão, ante 67% do grupo sem IA, logo após a tarefa. Entre os participantes que usaram IA, pedir explicações e construir entendimento esteve associado a resultados melhores do que apenas obter a solução pronta; essa comparação entre modos de uso não demonstra causalidade. A pesquisa estudou programação, não treinamento de recepcionistas. Ainda assim, oferece uma pergunta de gestão: depois que a IA entrega, a equipe consegue explicar, conferir e corrigir o que recebeu? Experimento de Shen e Tamkin.

Um treinamento útil, portanto, inclui o caso em que a IA erra. A pessoa precisa reconhecer a fonte correta, perceber a informação ausente, contestar uma resposta e saber quando interromper o fluxo. Se ninguém na operação consegue fazer isso, a automação está crescendo mais rápido que a capacidade de governá-la.

A passagem para produção

O marco de gestão de risco em IA do NIST organiza o trabalho em governar, mapear, medir e gerenciar. Traduzido para a operação de um hotel, isso pede cinco respostas antes de dar autonomia a uma rotina:

  1. Qual tarefa e qual resultado? Defina o que o sistema deve fazer e o que conta como acerto.
  2. Qual informação ele pode usar? Identifique a fonte vigente, a lacuna conhecida e quem atualiza o dado.
  3. Onde ele pode agir? Teste com dados e acessos limitados. Confirme que o ambiente não alcança produção por acidente.
  4. Como ele falha? Inclua casos incompletos, contraditórios e conteúdo que tente desviar a tarefa.
  5. Quem interrompe e corrige? Dê à equipe um caminho real para revisar, suspender e desfazer uma ação.

A Sereia trabalha com Revenue, Marketing e Vendas em hotéis. Nesse contexto, uma IA confiável não é a que responde a tudo. É a que usa informação válida, age dentro de um limite comprovado e entrega à equipe humana uma decisão que ela consegue entender e assumir.

Antes de liberar o próximo experimento, escolha a tarefa que o hotel consegue medir, testar e interromper.

Transparência editorial: o caso de segurança é uma investigação publicada pela própria Anthropic, ainda sujeita à revisão independente anunciada pela empresa. Os estudos citados foram realizados em segurança de IA, consultoria, programação e outros trabalhos do conhecimento; seus percentuais não estimam resultados na hotelaria. Os exemplos de hotel são aplicações propostas pela Sereia, não resultados medidos nesses estudos.