Chatbots Multilíngües: Construindo AI Conversacional Vernacular

Haptik Blocked Unblock Seguir Seguindo 24 de abril

2019 começou com um relatório da Dentsu Aegis que destacou três V's que impulsionarão o crescimento da mídia digital para o futuro previsível – Voz, Vernacular e Vídeo.

Tendo já feito progressos consideráveis na área de bots de voz , nossa equipe na Haptik voltou sua atenção para o segundo V – Vernacular.

Um chatbot multilíngue, ou seja, um bot que pode conversar com usuários em vários idiomas, pode ser um grande trunfo para qualquer organização. Isso é particularmente verdadeiro em um país altamente lingüisticamente diverso como a Índia . A revolução digital na Índia ampliou exponencialmente a base de usuários da Internet no país para incluir um grande número de pessoas que não falam inglês , que superam em muito o número de falantes de inglês no país.

Na verdade, um relatório de 2017 da KPMG e do Google estimou que o número de usuários da Internet em idiomas indianos será de 536 milhões até 2021 ; superando as projeções de 199 milhões de usuários da Internet em inglês na Índia.

Assim chatbots multilíngües estão definitivamente se moldando para ser um investimento essencial para qualquer empresa que opera na Índia; ou mesmo em qualquer mercado com clientes linguisticamente diversos.

Claro, houve uma série de outros fatores que nos levaram a dedicar recursos consideráveis para o desenvolvimento de chatbots multilíngües…

A necessidade de chatbots multilíngües

Automação é uma palavra que juramos no Haptik. É nosso esforço garantir que nossos bots realizem o maior número possível de conversas de maneira totalmente automatizada – sem necessidade de intervenção humana.

O que levantou a questão – e se um usuário inseriu uma consulta em um idioma diferente do inglês? Não foi uma especulação inútil da nossa parte. Nossa equipe observou várias instâncias de quebras de bot causadas por usuários que digitavam consultas em hindi e em outros idiomas vernáculos.

Só essa observação nos deu duas razões muito poderosas para equipar nossos bots com recursos multilíngues. Em primeiro lugar, isso garantiria uma experiência do cliente muito superior , eliminando quebras de bot causadas por usuários inserindo consultas em idiomas diferentes do inglês. E em segundo lugar, equipar nossos bots com a capacidade de conversar em línguas vernáculas os tornaria acessíveis ao vasto número de indianos para os quais o inglês não era a língua preferida, mas que recorrem cada vez mais a plataformas digitais e interfaces para uma ampla gama de necessidades e quer.

Nossos parceiros corporativos também gostavam de chatbots multilíngües, pois permitiriam que eles respondessem efetivamente a volumes substancialmente maiores de consultas por meio do bot e alcançassem um número muito maior de pessoas. Um chatbot de idioma vernacular seria particularmente útil para uma empresa que busca fazer incursões em um mercado regional específico e / ou criar reconhecimento de marca entre clientes em potencial que falam um idioma específico.

O desenvolvimento de chatbots multilíngues tornou-se claramente um imperativo para nós.

Como você constrói um chatbot multilíngue?

A localização do Chatbot não é tão fácil quanto tomar um chatbot em inglês e traduzir todo o seu conteúdo para um idioma vernacular.

Um chatbot multilíngue totalmente funcional precisa ser capaz de decifrar o idioma, entender exatamente o que o usuário quer e responder naturalmente.

O primeiro passo para construir essa capacidade em um chatbot multilíngue é garantir que ele seja capaz de reconhecer entidades em idiomas indianos.

Reconhecimento de Entidade Nomeada

A habilidade de um bot em detectar e entender palavras e extrair as informações relevantes delas é crucial para o seu funcionamento.

O Reconhecimento de Entidade Nomeada (NER, Named Entity Recognition ) é um componente chave do nosso aplicativo de processamento de linguagem natural (NLP). É o que permite ao bot identificar com precisão entidades no texto inserido, como data, hora, local, quantidades, nomes e especificações do produto.

Na Haptik, já havíamos desenvolvido um robusto sistema NER para nossos chatbots em inglês. Nós atualizamos nosso sistema NER para permitir que nossos bots detectassem entidades em cinco idiomas indianos – hindi, marathi, gujarati, tamil e bengali.

Essencialmente, isso significava que nossos bots seriam capazes de identificar e extrair informações relevantes que os usuários digitavam usando esses idiomas.

Você pode ler mais sobre como nosso sistema NER para idiomas indianos funciona aqui .

Um bot ou vários bots

Outra decisão inicial que precisava ser tomada era se construiríamos um chatbot que tivesse suporte para vários idiomas ou se construiríamos um chatbot separado para cada idioma.

Por fim, nossa equipe decidiu que não seria viável desenvolver um novo chatbot para cada novo idioma a ser adicionado. Particularmente, uma vez que quaisquer alterações feitas no chatbot em um idioma precisavam ser implementadas em todos os idiomas. Manter e atualizar o bot seria muito mais eficiente se as alterações pudessem ser feitas em um único bot e aplicadas em todos os idiomas suportados.

Essencialmente, isso significa que quando nosso chatbot multilíngue muda de um idioma para outro, as únicas coisas que mudam são as respostas do usuário, respostas de bot e entidades – os elementos que estão diretamente relacionados à linguagem. O restante da estrutura do robô subjacente permanece o mesmo. Um sistema como este torna significativamente mais fácil aumentar o número de idiomas que um bot pode suportar com o tempo.

A Haptik tem uma das mais robustas plataformas de Conversação em IA do mundo. Mas esse era o desafio de criar chatbots multilíngues que nossa equipe precisava fazer alterações em nossos sistemas em vários níveis, a fim de efetivamente construir nossos recursos multilíngues.

Desde as alterações no back-end do nosso sistema, até o nosso Machine Learning , nossos SDKs de bate-papo e nossa ferramenta de criação de robôs – nossa equipe precisou reavaliar cuidadosamente toda a nossa plataforma e garantir que todos os componentes da pilha fossem adaptáveis à linguagem.

Nossos parceiros empresariais, que optaram por recursos multilíngues, precisariam fazer alterações em seus sistemas também. Suas APIs precisariam ser convertidas para o idioma de destino. Além disso, eles precisariam nos fornecer uma lista de nomes de entidades relevantes no idioma de destino, para que eles pudessem ser adicionados ao nosso sistema.

Desafios e melhorias iniciais

O primeiro chatbot multilíngue em que trabalhamos foi uma versão em hindi de um Bot de Suporte ao Cliente que desenvolvemos anteriormente para um de nossos parceiros corporativos – Dr. Lal PathLabs , uma das principais cadeias de diagnósticos da Índia. Você pode ler mais sobre o nosso trabalho anterior para o Dr. Lal PathLabs aqui .

A escolha do hindi foi motivada pelo fato de termos acesso a uma quantidade razoavelmente grande de dados em língua hindi, além de falantes fluentes em hindi.

Você pode encontrar o chatbot multilíngue do Dr. Lal PathLabs aqui .

Nota: Para os propósitos da discussão a seguir, usamos 'Hindi', mas os mesmos desafios e processos se aplicam ao uso de qualquer outra linguagem.

Alternar entre inglês e hindi

Inicialmente, havia uma preocupação de que os usuários não usassem a opção de idioma hindi do bot porque não seriam capazes de encontrá-lo. Isto foi baseado na experiência passada de visitantes do site do Dr. Lal PathLabs não estarem conscientes de que poderiam facilmente mudar para a versão em hindi do website.

Para garantir que as capacidades multilíngues do nosso bot tivessem alta visibilidade e fossem facilmente detectáveis , as opções de idioma foram exibidas de forma proeminente na interface do chat. Assim, os usuários sempre seriam lembrados de que eles têm a opção de mudar para o idioma de sua preferência. Além disso, a opção de idioma padrão para o chatbot nas versões em inglês e hindi do site do Dr. Lal PathLabs era o idioma correspondente.

A detecção de idiomas pode ser um desafio com chatbots multilíngües. Isso ocorre porque, às vezes, uma mistura de idiomas é usada durante a entrada de texto. Por exemplo, com base na experiência do passado, sabíamos que os usuários de cidades metropolitanas às vezes digitam " hinglish" (uma mistura de inglês e hindi). Eles digitariam em inglês, mas incluiriam palavras ou frases em hindi em suas frases. Por exemplo, se um usuário digitasse “ Report do ”, o bot normalmente identificaria ambas as palavras como palavras em inglês que, juntas, não fazem sentido. É necessário que o bot seja capaz de entender o significado pretendido pelo usuário (que, neste caso, é "Dar o relatório" – " fazer" ser hindi para "dar"). Assim, garantimos que nossos bots estão equipados com suporte básico para o Hinglish .

O Dr. Lal PathLabs também queria que certas entidades (como nomes de teste) fossem detectadas principalmente em inglês e, se possível, entendidas em hindi. Para esse fim, adicionamos suporte de idioma robusto à nossa estrutura de detecção de entidade . Com esse recurso, nosso bot agora conseguia entender essas entidades, independentemente da linguagem em que foram digitadas. Esta capacidade é agora uma parte fundamental da nossa estrutura bot multilingue – permitindo-lhe realizar a deteção de entidades em vários idiomas para uma variedade de informações, como nomes, cidades ou números de telefone. Na prática, isso significa que você pode inserir um nome de cidade em inglês mesmo usando a versão em hindi do nosso bot, sem causar uma quebra de bot.

Tornando a linguagem mais conversacional

Usando os recursos de tradução da nossa plataforma de criadores de bot , conseguimos criar rapidamente uma versão do nosso bot de inglês existente, que continha versões traduzidas em hindi de todo o conteúdo em termos de consultas de usuários esperadas e respostas de bots. O problema era que as traduções fornecidas pelo sistema podiam ser muito formais e não representativas da maneira como a maioria dos falantes de língua hindi usando o bot falaria / escreveria.

Do ponto de vista técnico, isso não foi realmente difícil de resolver. Mas exigiu muita pesquisa e discussão interna para determinar como tornar a linguagem mais conversacional e coloquial . Na verdade, até conduzimos um grupo focal de falantes da língua hindi para obter insights sobre como fazer isso!

Tornar a linguagem mais casual também envolveu o uso de transliterações de palavras em inglês que são comumente usadas no lugar de suas contrapartes em hindi durante conversas casuais. Por exemplo, usando 'lab' no script Hindi ao invés da palavra Hindi menos usada ' Prayogshala '.

A vantagem do Haptik

Desenvolver um chatbot multilíngue tem sido uma curva de aprendizado para nossa equipe. Mas o resultado final de nossos esforços e nossas mudanças e atualizações em toda a plataforma tem sido um sistema robusto, eficiente e escalável para a criação de chatbots de idioma vernacular .

Na Haptik, nos orgulhamos de nossa filosofia “Build Once, Deploy Anywhere” – nossos bots podem ser implantados em múltiplas plataformas, permitindo que nossos parceiros tenham uma presença omnichannel . E agora, devido às nossas capacidades multilíngues, os bots da Haptik podem ser usados para envolver de forma proativa os clientes, não apenas entre as plataformas, mas também entre os idiomas!

A vantagem do Haptik reside no fato de que fornecemos recursos de tradução em nossos vários atributos de bots. Na maioria das outras plataformas, quando você adiciona um novo idioma, normalmente começa com uma lista em branco e precisa inserir novamente todo o conteúdo no idioma desejado. Nossa plataforma, por outro lado, faz todo o trabalho pesado. Ele entrega rapidamente um bot básico com conteúdo já disponível no idioma de destino. Assim, você basicamente tem um bot que está pronto para o teste no Dia 1 – um ótimo ponto de partida para qualquer equipe que acelere substancialmente o processo de desenvolvimento.

Além disso, incorporamos agora a linguagem em toda a nossa linha de produtos. Nosso SDK de bate-papo também oferece suporte completo a idiomas. Assim, nossos chatbots multilíngües agora podem ser facilmente integrados aos sistemas de qualquer parceiro.

Olhando para frente …

Avançando, outra área de interesse são os bots de voz multilíngües . De acordo com o Google, 30% das consultas na Índia são baseadas em voz, com consultas de voz em hindi crescendo anualmente em 400%. Acreditamos que, embora os usuários prefiram bate-papos com texto e com toques para conversas mais longas e complexas, os bots de voz podem ser uma opção melhor quando se trata de conversas mais rápidas com frases mais curtas. Escusado será dizer que a nossa equipa está actualmente a trabalhar arduamente na criação de capacidades multilingues para os nossos bots de voz!

À medida que a IA de conversação se torna cada vez mais predominante em toda a extensão da Índia, a necessidade de as empresas adotarem soluções de chatbot multilíngües só aumentará. Na Haptik, é nosso esforço contínuo garantir que a maioria das conversas de atendimento ao cliente no país ocorra em uma interface desenvolvida por nós. E as nossas capacidades multilingues permitir-nos-ão dar um enorme passo em frente em direção a esse objetivo!

Você está interessado em desenvolver uma solução de chatbot multilíngue para sua empresa? Entrar em contato