Como isto funciona, e quanto custa. A base de conhecimento é um arquivo de trechos com fonte que vem junto com a página. Sua pergunta é comparada com cada trecho por similaridade de cosseno, em um laço dentro do seu navegador — sem banco de dados vetorial, sem servidor, sem chamada de API, sem chave, e nada da sua pergunta sai desta página. Custo para rodar: nada.

Um modelo de linguagem pode ser acrescentado mais adiante para redigir as respostas de forma mais natural, com a mesma regra dura: ele só pode afirmar um número que apareça nos trechos recuperados. O handler que acompanha este site faz exatamente isso quando você adiciona uma chave de API gratuita.