Quando um Assistente Virtual se torna público, as empresas enfrentam várias questões que, em última análise, têm a ver com a qualidade. Como é que posso medir a qualidade da minha solução de conversação?

Uma forma de medir a qualidade da nossa formação em Assistente Virtual é aplicar um teste de medição da assertividade.

Embora o significado deste último termo exprima uma competência social, é atualmente utilizado na comunidade para descrever a capacidade de os assistentes virtuais darem uma resposta correcta ou adequada a uma pergunta específica de um utilizador que se exprimiu de uma forma que não foi diretamente treinada no chatbot ou no assistente virtual. Existem várias formas de medir corretamente a assertividade, mas podem ser agrupadas em três formas principais de medição que aumentam em complexidade e custo.

1. Índice indireto de assertividade:

Quando falamos de uma falha, estamos a falar de uma resposta em que o assistente não recebeu formação e respondeu com uma mensagem do tipo "não percebi". Desta forma, é possível criar o indicador mais fácil de assertividade, que seria pegar no número total de recuos e dividi-lo pelo número de interacções que entraram no bot durante um período. Isto daria uma taxa de recuo, e o seu complemento seria a assertividade, pelo que estamos a falar de uma taxa de assertividade indireta. Serve para saber aproximadamente o volume de perguntas que estão a chegar e para as quais o bot não foi treinado, respondendo a perguntas que não compreende.

2. Taxa de assertividade rigorosa:

No outro extremo, a forma mais complexa de medir a assertividade requer o acordo comum de duas ou mais partes que seleccionam uma amostra representativa de entradas ou exemplos reais de utilizadores com os quais o sistema será medido e, em seguida, anotam manualmente cada uma das entradas com as suas saídas, ou seja, a resposta que o sistema realmente deu, e identificam se a frase pertence ao domínio de conhecimento do bot e se a classificação ou resposta que deu foi adequada ou não. Depois de o grupo de anotadores ter efectuado a avaliação relevante do mesmo conjunto de dados, avalia-se o grau de concordância entre eles, porque é possível que alguns deles tenham considerado que tudo era relevante e adequado de forma aleatória. Um simples teste estatístico permite resolver este problema, criando uma coleção anotada de grande valor para melhorar a formação. O trabalho é complicado e moroso e requer mesmo alguma formação para os anotadores. Esta forma de medir a Taxa de Assertividade Rigorosa só é recomendada nos casos em que o indicador está ligado a alguma obrigação que exija uma demonstração formal.

3. Índice de Assertividade Semi-Automatizado:

Uma abordagem intermédia é o procedimento de cálculo da taxa de assertividade semi-automatizada, que poupa tempo e é muitas vezes uma fórmula ideal em contextos ágeis em que a qualidade do nosso assistente virtual tem de ser medida e actualizada através da demonstração do seu valor. Dependendo do tipo de solução de conversação, o cálculo será efectuado identificando primeiro toda a formação, relacionando-a com as respostas que serão medidas. Com esta entrada, é gerada uma tabela com as frases reais e a resposta que "deveria" ter sido recebida. Esta tarefa é normalmente abreviada utilizando simplesmente a intenção que deveria ter classificado essa frase. Uma vez que, na prática, é normalmente necessário um esforço manual nesta parte, surge a parte "semi" do nome do indicador. Em alguns casos, é possível automatizar todo o fluxo do início ao fim, mas muitas vezes há condições que dificultam essa tarefa. Depois, um segundo bot externo "envia" as frases para o assistente virtual. O assistente responderá com a sua resposta e essa resposta será guardada, dando origem a uma coleção de dados que contém cada uma das entradas reais do utilizador, a classificação que deveria ter sido entregue e a classificação que foi entregue. Por fim, é criada uma matriz com a frequência de classificações correctas e incorrectas, criando assim o indicador de taxa de assertividade por excelência, que nos permite identificar com um bom nível de detalhe e de forma relativamente rápida quais são os domínios de conhecimento que o bot não domina e em que a formação falha mais num indicador familiar expresso em percentagem. A primeira ideia que vimos ser gerada nestas experiências de medição é a necessidade de juntar algumas respostas, para evitar confundir o motor de diálogo que executa o assistente. Há um número infinito de formas de combinar estas medidas e os três níveis são bastante didácticos para descrever a sua complexidade. Normalmente, são acrescentadas mais etapas à medição, à medida que vão surgindo os requisitos próprios de cada assistente virtual. Ter uma medição adequada da assertividade do nosso bot garantirá a sua qualidade com o apoio de um indicador que tem impacto na experiência do utilizador e na avaliação final do assistente virtual. Com a medição vem um processo subsequente de re-treinamento que deve ser efectuado cuidadosamente para evitar a diminuição da capacidade de generalização do modelo em novos casos para os quais não foi treinado. Outra leitura interessante: Um assistente virtual disse: Desculpe, não percebi bem, ainda estou a aprender, pode escrever de outra forma?  

A tecnologia nos ajuda a nos comunicar em momentos em que o distanciamento social é obrigatório A pandemia de COVID-19 perturbou as nossas vidas de diferentes formas, mas a tecnologia pode ajudar-nos a mantermo-nos ligados nestes tempos de isolamento. Lojas, escritórios e centros de atendimento estão a fechar e milhões de pessoas estão confinadas às suas casas. Trabalhar a partir de casa é a nova norma.

No entanto, o serviço de origem não cobre 100% da operação. As empresas estão confrontadas com milhões de consumidores que têm de ser assistidos, e agora têm menos capacidade para prestar este serviço. Pior ainda, a pandemia de COVID-19 cria uma série de novos problemas que os consumidores têm de resolver: gerir o atraso no pagamento de dívidas, cancelar e reagendar viagens, reservar hotéis, bilhetes de avião e ir a consultas médicas através da telemedicina. Os contactos telefónicos e digitais entre consumidores e empresas continuam a aumentar.

Os consumidores precisam de falar com as empresas; as marcas precisam de falar com os seus públicos.

Como é que a tecnologia pode ajudar?

Hoje, devido ao Assistente Virtual (AV), também chamado de bots, as conversas podem ser automatizadas em diversos canais, como: WhatsApp, SMS, ligações telefônicas, Apple Business Chat, Google Home, Amazon Echo, Web chat, aplicativos de bate-papo, totens e robôs. A maioria dos casos de utilização comercial pode ser automatizada com um assistente virtual, como a verificação do saldo de uma conta, o pagamento de uma factura, a compra de bens, a activação e o cancelamento de um serviço, a transferência de dinheiro, o agendamento, a confirmação ou o cancelamento de uma consulta através da telemedicina. O trabalho dos assistentes virtuais aumenta durante a pandemia de COVID-19. Durante estes dias de isolamento, as empresas registam um crescimento de cinco vezes na utilização de assistentes virtuais via WhatsApp.

Então, o que devo fazer se a minha empresa não tiver um assistente virtual?

• Faça você mesmo: Pode encontrar várias ferramentas, plataformas e soluções no mercado que podem satisfazer as suas necessidades. As principais variáveis que deve considerar são a dimensão da sua empresa, a complexidade dos casos de utilização que pretende automatizar, o seu sistema e aplicações actuais, bem como o seu orçamento. É também necessária uma equipa talentosa e motivada.
• Procurar ajuda: Muitas empresas oferecem os seus serviços e possuem as ferramentas e o equipamento necessários. Os resultados, os preços e o impacto na empresa serão muito diferentes, dependendo das ferramentas, do nível de especialização da equipa e da metodologia.

Que casos de utilização devo automatizar?

Primeiro, pense no seu objectivo: reduzir custos, aumentar as receitas, melhorar a experiência do utilizador. Em seguida, defina os seus KPI e faça um estudo comparativo da situação actual com a situação futura para cada caso de utilização. Está agora pronto para definir prioridades.

Outra questão importante: quanto tempo seria necessário para desenvolver e e implementar uma solução como esta como esta?

O tempo necessário depende muito do canal, da complexidade do caso de utilização e dos seus recursos de TI. Os casos de utilização de chat na Web podem ser resolvidos em poucos dias, os casos de transacções via WhatsApp demoram mais de uma semana e a implementação de um centro de contacto cognitivo demora algumas semanas. Lembre-se que a selecção de uma equipa é essencial para criar o assistente virtual que melhor se adapta às necessidades da sua empresa.

Por conseguinte, recomendo que consulte o eva.bot plataforma.