Guia: Analisando redes do Twitter com o Gephi 0.9.1

Este não é um guia completo, mas um ponto de partida para pessoas que desejam analisar as redes do Twitter com o Gephi. Eu criei isso para ajudar os colaboradores a explorar as redes do Twitter de usuários verificados . Eu publiquei para ajudar outras pessoas que querem trabalhar com a Gephi também. Sinta-se à vontade para me enviar comentários ou sugestões para adicioná-los ao guia.

Analisando 205 718 usuários verificados do Twitter
Desde 2008 crio visualizações de rede para entender melhor como as comunidades funcionam. medium.com

Guias Oficiais

Instalando o Gephi
A memória disponível para Gephi é determinada por Java. Menos ou mais memória pode ser alocada configurando a inicialização do Gephi gephi.org
Começo rápido
Importação, visualização, layout, classificação, métricas, rótulos, detecção de comunidade, partição, filtro, pré-visualização, exportação e salvamento. gephi.org
Saiba como usar Gephi
Bem-vindo ao Gephi! O Gephi é um software de código aberto para visualizar e analisar gráficos de grandes redes. Gephi usa um 3D … gephi.org

Preparativos

Gephi é poderoso e até mesmo funciona bem com computadores mais antigos. Mas como você trabalha com redes maiores, o hardware se tornará seu fator mais limitado . Na seção Solução de problemas, darei algumas dicas de desempenho. Eu ainda recomendo pelo menos 2 GB de RAM. Idealmente, uma GPU dedicada e um SSD.

Instale Java

Gephi 0.9.1 suporta Java 8. Você deve obter a versão mais recente disponível para o seu sistema operacional. Você pode testar qual versão você possui e obter o mais recente aqui .

Se você quiser / precisar usar o Gephi 0.8.2, certifique-se de não desinstalar o Java 7, porque o Gephi 0.8.2 não funciona com o Java 8. Você pode ter que apontar o Gephi para a versão apropriada de Java. Tenha em mente que uma versão Java desatualizada é um risco de segurança.

Desmarque as versões que você ainda precisa.

Instale Gephi

  1. Baixar Gephi
  2. Instale Gephi
  3. Open Gephi

Etapas detalhadas para Windows
aqui e baixe a última versão para o seu sistema. Gephi está disponível para Windows, OS X e Linux. O download é de aproximadamente 55 MB de grande.

Após o download, abra o arquivo baixado e passe pela configuração. As configurações padrão devem estar bem. Sinta-se à vontade para mudá-los às suas necessidades.

Início da configuração. Você precisa concordar com o Contrato de Licença. Onde Gephi deveria estar instalado. Isso será relevante se você quiser mudar o arquivo de configuração mais tarde. No menu de início, você deseja encontrar o Gephi. Se desejar que um ícone da área de trabalho inicie o Gephi e quais arquivos devem ser associados automaticamente ao Gephi. Você ainda pode abri-los, mesmo que não os associe à Gephi. Mas você não poderá clicar duas vezes nelas. Você pode revisar suas escolhas antes de iniciar a instalação. Aguarde até que o processo de instalação tenha finalizado. Você pode abrir diretamente o Gephi.

A mentalidade correta

A visualização da rede é bagunçada. Você entra em dificuldades técnicas e tem que pesquisar na Internet e na mente das pessoas por soluções. Os dados em si são muitas vezes inconsistentes e você precisa encontrar maneiras de ainda obter informações sobre isso. Todo o processo está cheio de tentativa e erro com muitos becos sem saída. Não há desfazer para a maioria das ações na visualização de rede. Se você gosta de uma visão específica sobre os dados, melhor exportá-lo, pois com a pressão de um botão pode parecer totalmente diferente e mesmo se você começar com o mesmo arquivo e fazer as mesmas coisas, o resultado provavelmente parecerá diferente. É possível recriar determinadas visualizações, mas leva muito tempo.

Prepare-se para sujar as mãos e passar horas sem chegar a lugar algum e continuar ou começar a funcionar no dia seguinte. Com o tempo, fica melhor. Você aprenderá outros truques de pessoas e desenvolverá o seu próprio para obter resultados mais rápidos. Você experimentará a felicidade dos dados que finalmente fazem sentido e a satisfação quando você compartilha uma bela visualização com os outros.

Continue, compartilhe seu processo, economize com frequência e divirta-se.

Entendendo a Interface de Gephi

Na minha expiância, é muito mais fácil experimentar com uma nova ferramenta, quando você entende a interface básica. O Gephi funciona ligeiramente diferente de muitos outros programas por causa disso, além de maneiras diferentes de trabalhar com os dados.

Três Diferentes Visualizações: Visão Geral, Laboratório de Dados e Visualização
Logo abaixo do menu principal, Gephi tem três botões. Você pode clicar neles a qualquer momento para alternar entre as diferentes visualizações. Cada visualização pode ser personalizada removendo ou adicionando janelas, que também podem ser seções ou áreas de nomes. Você encontra-os no menu principal sob o ponto "Janela". Para remover algo, clique no x ao lado do nome. Para adicioná-lo novamente, clique nele no menu principal. A Visão geral é usada para trabalhar de forma interativa com o gráfico. O Data Laboratory fornece os dados brutos como uma tabela. A Visualização é usada para gerar belas versões de aparência do gráfico. Cada visualização acessa o mesmo gráfico. Se você alterar algo na Visão geral, ele também mudou no Data Laboratory e na Visualização.

Visão geral

Este é o lugar onde você gasta a maior parte do tempo explorando de forma interativa um gráfico. Você pode definir como os nós e as pontas se olham, usar algoritmos diferentes para calcular o layout do gráfico, usar filtros para trabalhar somente com certas partes do gráfico e calcular várias estatísticas.

Aparência
Você pode mudar a aparência de nós e bordas. Os nós têm uma cor, tamanho, cor da etiqueta e tamanho do rótulo. As bordas não têm um tamanho.

Todas as opções podem ser definidas como Unique, o que significa que cada nó / borda obtém o mesmo aspecto ou por Atributo. Dependendo do que você deseja alterar, o atributo precisa ter um certo nível de medição. As cores tomam tudo, o nível nominal. Os atributos não precisam ter nenhum relacionamento entre si. Os tamanhos precisam estar em uma escala de proporção. Na prática, isso significa que o atributo deve ser um número. Em teoria, deve haver um valor zero significativo e você precisa poder que algo seja duas vezes mais do que qualquer outra coisa.

Depois de definir as opções desejadas, você precisa aplicá-las ao gráfico pressionando o botão "Aplicar".

Bônus: Spline pode ser usado para usar um atributo de forma não linear. Você pode, por exemplo, definir que pequenos nós se tornem maiores do que os grandes nós. Isto é especialmente útil se você tiver alguns extremamente grandes.

Layout
A área de layout oferece acesso a vários algoritmos, você pode usar para calcular o layout do seu gráfico. Cada algoritmo tem vantagens e desvantagens. Para gráficos de rede social ForceAtlas 2 ou OpenOrd é um bom ponto de partida. Alguns algoritmos terminam, alguns precisam ser interrompidos quando você gosta do resultado. Alguns algoritmos podem ser executados após os outros e apenas ajustes mínimos (expansão, contração, noverlap, ajuste do rótulo) outros mudarão completamente como o gráfico parece. Você pode clicar em cada configuração de cada algoritmo para obter informações adicionais sobre o que faz.

Estatística e Filtros
Enquanto as opções de estatísticas não são auto-explicativas, todas elas funcionam da mesma forma. Você clicar em Executar e obter uma página de resultados exibida. Enquanto você não quiser escrever um papel em um gráfico, provavelmente você só precisa de Modularidade, o que identifica as subcomunidades. Uma vez que uma opção é executada, você sempre pode acessar a página de resultados pressionando o pequeno ponto de interrogação além do botão Executar.

Os filtros são usados ​​com mais freqüência em configurações exploratórias, pois ajudam você a observar apenas partes do gráfico. Novamente há muitas opções para escolher, você provavelmente trabalhará com atributos e topologia. As consultas podem ser combinadas.

Para aplicar o filtro, clique em Filtro. Clique em Parar (mesmo botão) uma vez que você não deseja mais o filtro. Enquanto o filtro estiver ativo, você receberá novas informações na área de Contexto no canto superior esquerdo, quantos nós e bordas estão visíveis.

Gráfico
No centro da visão geral é o gráfico. Você pode se mover segurando o botão direito do mouse, ampliar com sua roda de rolagem e selecionar / arrastar / colorir / ??? nós clicando à esquerda neles. Cada uma das configurações nos lados e na parte inferior possui um mouse sobre a dica de ferramenta. Tenha cuidado com as configurações no canto inferior esquerdo. A primeira, a lupa é útil, quando você se perde, porque ele centra a vista em seu gráfico. As três configurações abaixo repor as cores e os tamanhos. Irreversível. Os botões e a parte inferior ajudam você a tornar o gráfico mais legível ou explorável, se for grande. Virar a exibição de bordas ajuda muito em tais casos.

Laboratório de Dados

O Data Laboratory fornece os dados brutos. Você pode alternar entre nós e bordas. Através da configuração, você pode configurar se quiser ver tudo ou apenas as coisas visíveis na Visão geral. Por exemplo, se você ativou um determinado filtro, provavelmente quer ver apenas as coisas que se encaixam no filtro. Você pode exportar os dados ou importá-lo e outras coisas. Às vezes você não precisa fazer nada aqui, especialmente com um conjunto de dados bem preparado.

Visualização

Uma vez que você está feliz com o seu gráfico, você pode usar a Visualização para renderizá-lo. Existem diferentes predefinições e muitas configurações para processá-lo como você deseja. Na parte inferior esquerda, você tem a opção de exportá-lo como SVG, PDF ou PNG. Com a relação de visualização, você pode configurar para renderizar apenas uma porcentagem do gráfico inteiro. Isso ajuda muito se você precisar encontrar as configurações corretas para um grande gráfico que leva alguns minutos a horas para ser completamente processado. Na Visualização, você se move ao segurar o botão esquerdo do mouse enquanto se move. Pense nisso como agarrando toda a imagem e movendo-a. Você também pode aumentar e diminuir o zoom. Mas você pode escolher nós ou fazer outras coisas que você pode fazer na Visão geral.

Visualização de rede com Gephi

As seguintes etapas não ocorrem necessariamente nessa ordem. Você voltará a determinadas etapas uma e outra vez. Os algoritmos de layout são provavelmente a ferramenta mais importante para dar sentido aos seus dados. Você tentará vários deles com várias configurações e voltará para eles até atenderem à necessidade do conjunto de dados atual.

Abra o conjunto de dados

Você pode clicar em Arquivo no menu principal e Abrir ou clique duas vezes no arquivo ou Ctrl + o ou use a caixa de diálogo de boas-vindas. A Gephi apresentará algumas informações sobre o Gráfico e poderá exibir avisos e erros. No meu exemplo, a sub-comunidade brasileira de contas verificadas do Twitter , recebo um aviso sobre um tipo de dados falsamente definido. Olhando no Laboratório de Dados, posso ver que as bordas têm uma coluna demais, mas não há outros problemas com os dados. Portanto ignoro o aviso por enquanto.

Centro em Gráfico

Depois que o gráfico é carregado, não vejo muito. Todos os nós têm a mesma cor e não vejo o gráfico inteiro. Eu poderia diminuir o zoom com o mouse e tentar ver todo o gráfico, mas eu decido usar a maneira mais rápida de clicar no centro no botão de gráfico no centro inferior esquerdo.

Encontre subconjuntos ao calcular Modularidade

Agora podemos ver todo o gráfico. Mas ainda é bastante caótico. Vamos ver se podemos encontrar algumas subcomunidades. Eu clique em Executar na seção de Estatísticas corretas na Modularidade.

Porque eu sei que as bordas não têm pesos, desligo a opção de que os pesos de ponta desempenham um papel para o cálculo.

Recebemos um relatório de que 5 comunidades foram encontradas.

Nodos de cor pela comunidade

Vamos usar as comunidades para colorir os nós. Isso nos ajudará a ver as comunidades facilmente. A configuração está à esquerda na seção Aparência. Queremos mudar a cor dos nós por atributo de modularidade.

Algoritmo de layout

Eu gosto de começar com o ForceAtlas 2 . Em muitos casos, dá um bom resultado. Uma vez que não há muito movimento em curso, eu o paro. Embora esteja calculando o gráfico movido para fora da minha visão e voltei a centrá-lo.

Porque eu gostei muito do resultado do OpenOrd no grande gráfico, eu tento novamente com o pequeno, mas não estou tão feliz com o resultado.

Eu gostei do layout do ForceAtlas 2 melhor, então eu lanço novamente. Desta vez com o Scaling 5.

Definir o tamanho do nó por grau

Quero saber quem são os nós mais importantes neste conjunto de dados específicos. Por isso, eu vou para Aparência -> Nodes -> Tamanho -> Atributo -> In-Degree e limite o tamanho de 1 a 100 depois de testar em torno de qual tamanho funciona melhor para este gráfico. Depois disso, eu ativar os rótulos e definir o tamanho para o tamanho do nó. Ou você pode fazer isso permanentemente definindo o tamanho do rótulo nas configurações de Aparência.

Explore o gráfico

Agora é um bom momento para obter uma sensação melhor para o gráfico. Isso significa muito zoom, rolagem, leitura de rótulos e busca mais informações sobre os nós. No caso das contas do Twitter, vejo suas contas em um navegador. Se mudar de direção é muito lento, desligo as bordas (parte inferior da tela além do grande T). Se a minha tela for muito pequena, eu minimizo tudo, exceto o gráfico clicando no menos de cada seção.

A aparência da comunidade azul parece ser sobre o esporte.

O verde parece ser política e mídia. Eu não sei muito sobre essas coisas no Brasil e agradeço que alguém me contatou para me ajudar com isso. Você obtém muito mais de uma visualização se você não precisa procurar tudo e pode interpretá-los.

Os roxos me parecem TV / Lifestyle / Celebridades.

O vermelho pode ser uma nova mídia e jogos.

A parte inferior esquerda parece música.

Renderizar

Quando eu acho que tudo parece ser bom e estou pronto para compartilhar o que encontrei, eu vou à Pré-visualização e brinco com diferentes configurações de renderização. Depois de exportar ou verificar o rendimento que eu mais gosto, às vezes coloco os rótulos que eu encontrei para as sub-comunidades neles. Às vezes compartilho o que é e adicione a explicação como texto.

Contas verificadas do Twitter do Brasil (06.09.2016)

Solução de problemas

Fora da memória

O aumento da memória automática nunca funcionou para mim. Você ainda pode dar uma chance. Se não funcionar, vou mostrar-lhe como editá-lo na Gephi Config.

Primeiro você precisa localizar o arquivo Gephi Config. Dependendo de onde você instalou o Gephi, você deve estar na pasta / etc. Para mim, o caminho é

C: Arquivos de programas (x86) Gephi-0.9.1 etc

Abra o arquivo com um editor de texto de sua escolha. Atom é uma escolha popular.

O parâmetro relevante é -J-Xmx512m. Ele define a quantidade de memória que a Gephi pode usar. 512 m seriam 512 megabytes de RAM. No passado, era importante que a RAM permitida não excedesse a RAM disponível. Eu não sei como e quando isso muda, mas no momento parece que você pode permitir a mesma RAM que você quiser. Talvez isso só seja possível no Windows 10 com um SSD porque ele é tratado como uma RAM mais lenta. Lembre-se de "expandir RAM com USB stick"? No meu computador com 16 GB de RAM, eu configurá-lo para 64000 m ou algo em torno de 64 GB. Eu sempre me asseguro que haja espaço livre suficiente no SSD se a RAM adicional for realmente necessária. O Windows coloca as coisas da RAM no arquivo de página, a RAM virtual no SSD / HDD, quando um programa requer mais RAM. Comparado com a RAM o SSD é muito lento. Mas às vezes é a única maneira de abrir um determinado gráfico.

# $ {HOME} será substituído pelo diretório inicial do usuário de acordo com a plataforma
default_userdir = "$ {HOME} /.$ {APPNAME} /0.9.1/dev"
default_mac_userdir = "$ {HOME} / Biblioteca / Suporte a aplicativos / $ {APPNAME} /0.9.1/dev"

# opções usadas pelo iniciador por padrão, podem ser substituídas por explícitas
# comutadores de linha de comando
default_options = "- branding gephi -J-Xms64m -J- Xmx64000m -J-Xverify: nenhum -J-Dsun.java2d.noddraw = true -J-Dsun.awt.noerasebackground = true -J-Dnetbeans.indexing.noFileRefresh = true -J-Dplugin.manager.check.interval = EVERY_DAY "
# para fins de desenvolvimento que você deseja anexar: -J-Dnetbeans.logger.console = true -J-ea

# local padrão de JDK / JRE, pode ser substituído usando a opção – jdkhome <dir>
#jdkhome = "/ path / to / jdk"

# caminhos de clusters separados por path.separator (ponto e vírgula no Windows, cólon em Unices)
# extra_clusters =

Eu adicionarei outros problemas e soluções, conforme você os solicita.

Recursos adicionais

O Gephi Facebook Group é uma ótima localização para fazer várias perguntas.
https://www.facebook.com/groups/gephi/

Blog Gephi
Em dezembro, pedimos aos usuários da Gephi que participassem de uma pesquisa. O objetivo principal da pesquisa foi entender melhor quem … gephi.wordpress.com
Gephi Issues no Github github.com Gephi Wiki em Github
gephi – tronco github.com
Gephi graph viz (@Gephi) | Twitter
Os últimos Tweets do Gephi graph viz (@Gephi). Plataforma de visualização e análise de redes twitter.com
Fóruns de Gephi – Página de índice
Última publicação por CentOS7user Ver a última postagem 03 de setembro de 2016 04:20 gephi.forumatic.com
# sunbelt2016 Tutorial Gephi http://www.kateto.net/wp-content/uploads/2016/04/Gephi%20Handout%20Sunbelt%202016.pdf

Próximo: como coletar redes do Twitter você mesmo

Como coletar qualquer rede de seguidores do Twitter com o Twecoll do script Python
Saiba como criar um arquivo gráfico para visualização em Gephi medium.com