Use avaliação e análise de fala no Webex AI Quality Management

Visão geral

O objetivo de uma avaliação é medir a qualidade da interação em relação a um conjunto definido de critérios. No Webex AI Quality Management, as avaliações combinam pontuação automatizada com informações do supervisor. Isso ajuda as equipes a analisar mais interações, aplicar os mesmos padrões em todas as equipes e preservar espaço para o julgamento manual quando o contexto é importante.

A análise de fala ajuda supervisores e gerentes de qualidade a monitorar o desempenho dos agentes identificando interações que podem conter lacunas de conformidade, indicadores de escalonamento, falhas na comunicação ou oportunidades de habilidades sociais.

Você pode usar avaliações e análise de fala para:

Padronize as avaliações de qualidade em equipes e filas.
Use as regras de atribuição para aplicar o formulário certo às interações certas.
Analise as pontuações e justificativas geradas pela IA.
Monitore o desempenho do agente usando insights conversacionais e sinais de qualidade.

Quem pode criar e revisar avaliações

Supervisores e gerentes de qualidade com as permissões necessárias podem criar formulários de avaliação, atribuí-los a equipes, filas ou agentes e criar regras de interação. Depois que uma avaliação for concluída, eles poderão revisar os resultados e modificar as pontuações, se necessário.

Antes de começar

Certifique-se de que o complemento Webex AI Quality Management tenha sido comprado para sua organização.
As avaliações e a análise de fala devem ser habilitadas pelo administrador no Control Hub.
Verifique se você tem as permissões necessárias para criar formulários de avaliação.

Habilite avaliações e análises de fala no Control Hub

Os administradores podem ativar as avaliações e a análise de fala para toda a organização. Depois que o recurso é ativado, a guia Avaliação aparece no Gerenciador de configurações no Supervisor Desktop.

Para ativar avaliações e análise de fala no Control Hub:

Faça login no Control Hub e navegue até Serviços > Contact Center.
Navegue até Experiência Desktop > Recursos de IA no painel de navegação.
Ative Avaliações e análise de fala.

Nenhuma permissão adicional é necessária para visualizar as pontuações da avaliação.

Crie um formulário de avaliação

Um formulário de avaliação define como as interações são pontuadas. Normalmente, um formulário inclui detalhes básicos, regras de atribuição, seções e perguntas que podem ser avaliadas automaticamente.

1	Abra o formulário de avaliação em Configure na barra de navegação.
2	Clique em + Criar novo formulário.
3	Insira os detalhes do formulário para que ele tenha um nome e uma descrição claros.
4	Defina a política de atribuição. Escolha como o formulário de avaliação é atribuído às interações. As políticas de atribuição podem ser baseadas na fila, na equipe, no agente ou em cada enésima interação. Mais de uma política de atribuição pode ser aplicada ao mesmo formulário, o que ajuda os contact centers a direcionar o formulário para o conjunto certo de interações. Usar cada enésima interação é especialmente útil quando você deseja randomizar avaliações e revisar uma amostra mais ampla de interações em vez de um subconjunto fixo.
5	Configure as regras de interação, se necessário. As regras de interação são filtros opcionais que ajudam a refinar quais interações recebem o formulário. Você pode definir regras usando vários critérios, como duração conectada, duração da espera e medidas de interação semelhantes. Para cada regra, selecione um operador como Igual, Não igual, Maior que, Maior ou igual a, Menor que, Menor que ou igual a e, em seguida, forneça o valor correspondente. Dependendo do campo de dados da interação, o valor pode ser inserido como duração, contagem, pontuação ou outra medida compatível. Você pode adicionar várias regras para restringir ainda mais o conjunto de interações que se qualificam para avaliação.
6	Adicione uma seção. Crie uma ou mais seções para agrupar questões relacionadas, por exemplo, conformidade, qualidade da comunicação e resolução.
7	Use o limite de falha automática para definir uma porcentagem de falha opcional para seções importantes, como a seção Conformidade em um formulário de avaliação. Marque a caixa de seleção Limite de falha automática e insira um valor percentual de falha, que é a pontuação mínima de aprovação do agente. Se um agente pontuar abaixo da porcentagem limite configurada para essa seção, ele falhará nos critérios de avaliação. Para obter mais detalhes, consulte a seção Não aplicável (N/A) e Pontuação de falha automática.
8	Adicione perguntas à seção. Para cada pergunta, insira o texto da pergunta e escolha o tipo de pergunta. As opções comuns incluem: `Sim/Não`: `Escala` `Seleção única` Você pode incluir uma opção Não aplicável (N/A) para Sim/Não e escalar perguntas quando uma pergunta pode não se aplicar a todas as interações com base no contexto. Você pode definir manualmente o contexto N/A para a pergunta, ou seja, sob quais circunstâncias a opção N/A deve ser selecionada na avaliação de IA. Como alternativa, clique no botão Sugerir contexto N/A para usar a IA para sugerir o contexto. Por exemplo, em uma pergunta de verificação de cliente, o contexto N/A pode ser “Use N/A se a interação não for sobre cartão de crédito”. Durante a avaliação, a IA usa esse contexto para determinar se N/A é apropriado. O supervisor sempre pode revisar e ignorar a resposta avaliada pela IA, quando necessário.
9	Clique em Pergunta de teste para testar e otimizar o idioma das perguntas no formulário de avaliação para que a IA possa avaliar as interações com precisão. Ao clicar no botão, aparece um pop-up que mostra como as interações da sua organização são avaliadas para essa pergunta. O pop-up tem gravação, transcrição, dados de interação e resposta sugerida por IA, juntamente com a justificativa para essa pergunta. Você pode escolher sua própria resposta entre as opções disponíveis ou pular a pergunta. Você pode testar a pergunta em relação a várias interações. Clique no botão Exibir sugestões e resumo. A lógica da pergunta do teste fornece um resumo e sugere melhorias na pergunta para que a avaliação da IA esteja de acordo com suas expectativas.
10	Configure os valores das respostas. Defina as opções de resposta e a pontuação de cada opção com base no tipo de pergunta. Para perguntas Sim/Não, o formulário fornece respostas fixas, como Sim e Não. Para perguntas em escala e seleção única, os usuários podem inserir opções de resposta e atribuir uma pontuação a cada uma. Os usuários podem adicionar várias respostas e atribuir pontuações para cada resposta. Essa configuração estruturada deixa claro como cada resposta contribui para a pontuação geral da avaliação. A pontuação máxima da pergunta ou seção é mostrada na parte superior da seção.
11	Você pode salvar o formulário como rascunho a qualquer momento para preservar seu progresso.
12	Quando o formulário estiver completo, clique em Publicar para ativá-lo para que ele possa ser atribuído às interações correspondentes. Na tabela de avaliações, você também pode editar, duplicar ou arquivar um formulário. Depois que um formulário é publicado, você pode modificar somente sua política de atribuição e regras de interação. Depois que um formulário é publicado, você só pode modificar a política de atribuição e as regras de interação do formulário.

Exibir pontuações de avaliação

As pontuações de avaliação estão disponíveis na tabela de interação e no player de interação. Na guia Avaliações, dentro do painel de detalhes da interação, os supervisores e gerentes de qualidade podem ver a pontuação média da avaliação, a lista de formulários disponíveis e a pontuação de cada formulário atribuído à interação.

Para exibir a coluna Pontuação da avaliação na tabela Interações concluídas, clique no ícone Configurações na barra de ferramentas da tabela, pesquise a pontuação da avaliação e selecione-a na lista de colunas disponíveis. Isso permite que você visualize as pontuações da avaliação diretamente na lista de interações concluídas sem abrir cada interação.

Abra uma interação concluída. Na lista de interações, abra a interação que você deseja revisar.
Vá para a guia Avaliações. Revise a pontuação média da avaliação. Se mais de um formulário for atribuído à interação, a pontuação será a média de todas as pontuações individuais do formulário.
Selecione o formulário que você deseja revisar. Se mais de um formulário se aplicar à interação, escolha o formulário relevante na lista de formulários. Use a pesquisa quando vários formulários estiverem disponíveis.
Inspecione as pontuações e justificativas geradas pela IA. Analise as pontuações que foram calculadas automaticamente e leia a justificativa de apoio, quando disponível.
Ajuste a avaliação com base em evidências. Use a gravação, a transcrição, os capítulos e os detalhes adicionais da interação para confirmar a pontuação correta antes de finalizar a avaliação.

A pontuação final da avaliação de um formulário é calculada como: (pontuação obtida × 100) /pontuação total possível. Por exemplo, suponha que um formulário de avaliação tenha duas perguntas. A pergunta 1 tem uma pontuação máxima de 100 e a pergunta 2 tem uma pontuação máxima de 150. Depois que a interação é avaliada, a IA atribui uma pontuação de 50 para a pergunta 1 e 80 para a pergunta 2 com base nos critérios definidos.

A porcentagem da pontuação da avaliação é calculada da seguinte forma: Pontuação da avaliação (%) = ((50 + 80) × 100)/(100 + 150) = (130 × 100)/250 = 52%

Não aplicável (N/A) e pontuação de falha automática

Os formulários de avaliação que incluem perguntas com as opções Não aplicável (N/A) ou Falha automática são pontuados da seguinte forma:

Se uma avaliação de IA ou um supervisor marcar uma pergunta como Não aplicável ou N/A, a pergunta será excluída da pontuação total possível para essa interação. Por exemplo, se um formulário tiver cinco perguntas Sim/Não valendo 100 pontos cada e uma pergunta for marcada como N/A, a pontuação será calculada a partir das quatro perguntas restantes. Se a interação obtiver 300 pontos com essas quatro perguntas, a pontuação da avaliação será 300/400 x 100 = 75%.

Os supervisores podem alterar uma resposta gerada por IA para N/A ou alterar uma resposta N/A gerada por IA para outra resposta compatível. A pontuação da avaliação é recalculada com base nas perguntas que permanecem aplicáveis.
Se você ativar a opção Falha automática em um formulário de avaliação, o seguinte relatório de falha automática estará disponível em um nível de interação e no nível do agente:
- Guia Interações concluídas: A coluna Falha nas seções de avaliação mostra o número de seções nas quais o agente falhou em uma interação. Clique em Exibir. Na guia Avaliações na página Detalhes da interação, você pode ver os formulários usados para avaliação.
  
  Um ícone de alerta ao lado do nome do formulário indica que o formulário contém seções com pontuações abaixo do limite de falha automática configurado. O ícone de alerta também aparece em cada seção com falha do formulário de avaliação junto com a pontuação limite de falha automática e a pontuação real.
- Painel de desempenho do agente (painel de desempenho da equipe): A coluna Avaliações falharam mostra o número de avaliações nas quais um agente falhou. Se o agente falhar mesmo em uma seção de um formulário de avaliação, toda a avaliação será considerada reprovada. Clique em Exibir para ver as métricas de desempenho detalhadas. O cartão Avaliações falharam na página Detalhes do desempenho do agente mostra o número de avaliações reprovadas em comparação com a média da equipe e o período anterior.

Análise de fala

A análise de fala fornece sinais adicionais de interação que ajudam os supervisores a avaliar a qualidade da conversa e o desempenho do agente com mais eficiência. As medidas de análise de fala disponíveis incluem Cross Talk, Talk Ratio e Silence Monitor.

O tempo de conversação cruzada indica momentos em que o agente e o cliente falam ao mesmo tempo. A conversa cruzada alta pode sugerir interrupções, falta de turnos ou dificuldade em manter um fluxo de conversa tranquilo. Os supervisores podem usar essa medida para identificar interações nas quais o agente pode precisar de treinamento sobre escuta ativa, ritmo ou permitir que o cliente tenha tempo suficiente para falar.

A proporção de palavras mostra o equilíbrio entre o quanto o agente fala em comparação com o cliente durante a interação. Isso ajuda os supervisores a entender se o agente está dominando a conversa ou dando ao cliente a oportunidade suficiente de explicar o problema. A taxa de conversação pode ser usada para avaliar o estilo de comunicação, o comportamento de escuta e a capacidade do agente de orientar a conversa de forma eficaz sem sobrecarregar o cliente.

O Dead Air Time destaca os períodos de silêncio durante a interação. Um silêncio mais longo ou frequente pode indicar atrasos, incertezas, tratamento ineficiente de chamadas, dificuldade de navegação nos sistemas ou oportunidades perdidas de manter o cliente informado. Os supervisores podem usar esse sinal para avaliar a confiança, a capacidade de resposta e a eficiência geral do manuseio do agente.

Juntas, essas medidas de análise de fala ajudam os contact centers a identificar padrões de interação que podem afetar a experiência do cliente e o desempenho operacional. Eles podem ser usados junto com as pontuações da avaliação para analisar a qualidade da comunicação, o controle da interação e as necessidades de coaching de forma mais consistente.

Para exibir essas medidas de análise de fala na tabela Interações concluídas, clique no ícone Configurações na barra de ferramentas da tabela e selecione as colunas para Conversa cruzada, Taxa de conversação e monitor de silêncio. Isso permite que os supervisores revisem esses sinais diretamente da lista de interações antes de abrir uma interação específica.

Perguntas frequentes

Esta seção responde às perguntas mais frequentes sobre o uso de formulários de avaliação.

Quem pode criar formulários de avaliação?

Supervisores e gerentes de qualidade com as permissões necessárias podem criar formulários de avaliação e revisar as avaliações concluídas, com base nas permissões atribuídas à sua organização.
Mais de um formulário de avaliação pode ser aplicado à mesma interação?

Sim Mais de uma política de atribuição pode ser aplicada ao mesmo formulário, e uma interação pode mostrar mais de um formulário de avaliação no player de interação. A pontuação geral reflete a pontuação média em vários formulários.
Posso atribuir o formulário a uma combinação de agentes e filas?

Sim Você pode atribuir o formulário a vários agentes, filas e equipes.
Como as pontuações são geradas para consultas ou transferências?

Para consultas ou transferências, toda a interação é considerada para avaliação. A pontuação é atribuída ao agente que participou da última etapa da interação.
Como os formulários são atribuídos a uma interação quando várias regras de interação são criadas para um formulário?

Uma interação é avaliada quando atende a uma ou mais regras de interação.

Cisco AI Assistant

Obrigado pelos seus comentários.

Visão geral

Quem pode criar e revisar avaliações

Antes de começar

Habilite avaliações e análises de fala no Control Hub

Crie um formulário de avaliação

Exibir pontuações de avaliação

Não aplicável (N/A) e pontuação de falha automática

Análise de fala

Perguntas frequentes

Pequena empresa

Empresa

Dispositivos

Soluções para

Recursos

Empresa