Sumarizador de texto usando deep learning facilitado

amr zaki Blocked Desbloquear Seguir Seguindo 11 de janeiro

Nesta série, discutiremos um tópico de processamento de linguagem natural verdadeiramente empolgante que está usando técnicas de aprendizado profundo para resumir o texto . O código dessa série é de código aberto e encontrado em um formato de bloco de notas jupyter para ser executado no google colab sem a necessidade de ter um poderoso gpu, além disso todos os dados são de código aberto, e você não precisa baixá-lo, pois você pode conectar o google colab com o google drive e colocar seus dados diretamente no google drive, sem a necessidade de baixar localmente, leia este blog para saber mais sobre o google colab com o google drive.

Para resumir o texto, você tem duas abordagens principais (eu realmente gosto de como é explicado neste blog )

  1. O método extrativo , que está escolhendo palavras principais específicas da entrada para gerar a saída, este modelo tende a funcionar, mas não gera sentenças corretamente estruturadas, pois seleciona palavras da entrada e as copia para a saída, sem realmente entender as frases, pense nisso como um marcador.

2. Método abstrativo , que está construindo uma rede neural para realmente treinar a relação entre a entrada e a saída, não apenas copiando palavras, essa série passaria pelo método, pensaria como uma caneta.

esta série é feita para quem se sente animado para aprender o poder de construir uma rede profunda que é capaz de

  • analisando sequências de entrada
  • texto de compreensão
  • seqüências de saída de saída na forma de resume

daí o nome de seq2seq, sequência de entradas para sequência de saídas, que é o algoritmo principal que é usado aqui.

Esta série iria entrar em detalhes sobre como

  1. Construa sua rede de aprendizagem profunda on-line sem a necessidade de ter um computador poderoso
  2. Acesse seus conjuntos de dados on-line, sem a necessidade de baixar os conjuntos de dados para o seu computador.
  3. Construa uma rede de tensorflow para endereçar a tarefa

Múltiplas pesquisas foram feitas ao longo dos últimos dois anos, atualmente estou pesquisando essas novas abordagens, nesta série nós passaríamos por algumas dessas abordagens.

Esta série implementa seu código usando o google colab, então não há necessidade de ter um computador poderoso para implementar essas idéias, atualmente estou trabalhando na conversão das pesquisas mais recentes para um bloco de notas google colab para pesquisas também experimentá-los sem a necessidade de ter gpus poderosos , também todos os dados podem ser usados sem a necessidade de baixá-los, como usaríamos o google drive com o google colab, leia este blog para saber mais sobre como você pode trabalhar no google ecosystem para deep learning

Todo o código estaria disponível neste repositório github , que contém modificações em algumas implementações de código aberto de estigmatização de texto

estas pesquisas incluem principalmente

  1. implementações usando um decodificador seq2seq (bidirecional lstm) (com atenção)

esta é uma implementação crucial, pois é a pedra angular de qualquer pesquisa recente por enquanto eu coletei diferentes abordagens que implementam este conceito

2. outra implementação que eu encontrei verdadeiramente interessante é uma combinação de criação de novas sentenças para sumarização, com cópia da entrada de origem, esse método é chamado de gerador de ponteiro , aqui está a minha modificação em uma colob google para a implementação original

3. outras implementações que atualmente ainda estou pesquisando, é o uso de aprendizado por reforço com aprendizado profundo

Esta série seria construída para ser facilmente compreensível para qualquer novato como eu, já que você pode ser aquele que apresenta a mais nova arquitetura a ser usada como o mais novo padrão para a sumarização de texto, então vamos começar !!

A seguir, uma rápida visão geral da série, espero que você goste

Texto original em inglês.