# Instalando os pacotes\ninstall.packages(\"tydeverse\")\ninstall.packages(\"rtweet\")\ninstall.packages(\"tm\")\ninstall.packages(\"wordcloud\")\ninstall.packages(\"syuzhet\")<\/pre>\n\n\n\n
Vamos carregar os pacotes.<\/p>\n\n\n\n
# Carregando os pacotes\nlibrary(tydeverse)\nlibrary(rtweet)\nlibrary(tm)\nlibrary(wordcloud)\nlibrary(syuzhet)<\/pre>\n\n\n\n
Agora vamos buscar os textos utilizando a fun\u00e7\u00e3o search_tweets<\/strong> do pacote rtweet<\/em>. Utilizaremos como amostra 2 mil tweets e esses tweets estar\u00e3o em ingl\u00eas.<\/p>\n\n\n\n
# Buscando tweets relacionados a economia\neconomia_tweets <- search_tweets(\n  \"#economy\",\n  n = 2000,\n  include_rts = FALSE,\n  lang = \"en\"\n)<\/pre>\n\n\n\n
Para fazer o pr\u00e9-processamento do texto e para simplificar nosso trabalho, vamos separar a coluna \u2018text\u2019<\/em> em uma vari\u00e1vel.<\/p>\n\n\n\n
# Separando o texto\neconomia_text <- economia_tweets$text<\/pre>\n\n\n\n
Para fazer a limpeza dos textos podemos utilizar as fun\u00e7\u00f5es do pacote tm<\/em>, ou podemos criar as nossas pr\u00f3prias fun\u00e7\u00f5es, como no exemplo abaixo:<\/p>\n\n\n\n
# Fun\u00e7\u00e3o para limpeza dos textos\nlimpar_texto <- function(texto) {\n  # Convertendo o texto para min\u00fasculo\n  texto <- tolower(texto)\n  # Removendo o usu\u00e1rio adicionado no coment\u00e1rio\n  texto <- gsub(\"@\\\\w+\", \"\", texto)\n  # Removendo as pontua\u00e7\u00f5es\n  texto <- gsub(\"[[:punct:]]\", \"\", texto)\n  # Removendo links\n  texto <- gsub(\"http\\\\w+\", \"\", texto)\n  # Removendo tabs \n  texto <- gsub(\"[ |\\t]{2,}\", \"\", texto)\n  # Removendo espa\u00e7os no in\u00edcio do texto\n  texto <- gsub(\"^ \", \"\", texto)\n  # Removendo espa\u00e7os no final do texto\n  texto <- gsub(\" $\", \"\", texto)\n  return(texto)\n}<\/pre>\n\n\n\n
Utilizando a fun\u00e7\u00e3o criada para limpar o texto temos:<\/p>\n\n\n\n
# Limpando os textos\neconomia_text <- limpar_texto(economia_text)<\/pre>\n\n\n\n
Transformamos o texto limpo em um corpus<\/em> e depois usamos o pacote tm<\/em> para remover as stopwords<\/em>.<\/p>\n\n\n\n
# Convertendo os textos em corpus\neconomia_corpus <- VCorpus(VectorSource(economia_text))\n\n# Removendo stopwords\neconomia_corpus % tm_map(removeWords, stopwords(\"english\"))<\/pre>\n\n\n\n
Ap\u00f3s a limpeza, podemos visualizar os textos em uma nuvem de palavras, para descobrir os termos mais frequentes no conjunto de dados.<\/p>\n\n\n\n
# Lista de cores em hexadecimal\npaleta <- brewer.pal(8, \"Dark2\")\n\nwordcloud(\n  economia_corpus,\n  min.freq = 15,\n  max.words = 250,\n  random.order = F,\n  colors = paleta\n)<\/pre>\n\n\n\n
<\/figure>\n\n\n\n
Agora transformaremos o nosso corpus<\/em> em uma matriz de documentos-termos<\/em> para criarmos um gr\u00e1fico de barras com os termos e sua frequ\u00eancia.<\/p>\n\n\n\n
# Lista de cores em hexadecimal\n# Transformando o corpus em matriz de documentos-termos\neconomia_doc <-  DocumentTermMatrix(economia_corpus)\n\n# Removendo os termos menos frequentes\neconomia_doc1 <- removeSparseTerms(economia_doc, 0.97)\n\n# Gerando uma matrix ordenada, com o termos mais frequentes\neconomia_freq <- \n  economia_doc1 %>% \n  as.matrix() %>% \n  colSums() %>% \n  sort(decreasing = T)\n\n# Criando um dataframe com as palavras mais frequentes\ndf_economia_freq <- data.frame(\n  word = names(economia_freq),\n  freq = economia_freq\n)\n\n# Gerando um gr\u00e1fico da frequ\u00eancia\ndf_economia_freq %>%\n  filter(!word %in% c(\"economy\")) %>% \n  subset(freq > 50) %>%\n  ggplot(aes(x = reorder(word, freq),\n             y = freq)) +\n  geom_bar(stat = \"identity\", fill='#0c6cad', color=\"#075284\") +\n  theme(axis.text.x = element_text(angle = 45, hjus = 1)) +\n  ggtitle(\"Termos relacionados a Economia mais frequentes no Twitter\") +\n  labs(y = \"Frequ\u00eancia\", x = \"Termos\") +\n  coord_flip()<\/pre>\n\n\n\n
<\/figure>\n\n\n\n
Criando um dendrograma<\/em> (diagrama de \u00e1rvore) onde ser\u00e1 poss\u00edvel visualizar o agrupamento dos nossos termos.<\/p>\n\n\n\n
# Dendrograma -> Visualizando os grupos\ndistancia <- dist(t(economia_doc1), method = \"euclidian\")\ndendrograma <- hclust(d = distancia, method = \"complete\")\nplot(dendrograma, habg = -1, main = \"Dendrograma Tweets Economia\",\n     xlab = \"Dist\u00e2ncia\",\n     ylab = \"Altura\")<\/pre>\n\n\n\n
<\/figure>\n\n\n\n
E por \u00faltimo realizaremos a an\u00e1lise de sentimentos<\/em> dos tweets. Para isso utilizaremos a fun\u00e7\u00e3o get_nrc_sentiment<\/em> do pacote syuzhet<\/em> e passaremos como par\u00e2metro os termos da matriz de documentos-termos<\/em>. Ap\u00f3s obtermos as emo\u00e7\u00f5es dos termos, faremos o c\u00e1lculo da frequ\u00eancia dos sentimentos que utilizaram a #economy<\/strong>.<\/p>\n\n\n\n
# Obtendo os emo\u00e7\u00f5es\neconomia_sentimento <- get_nrc_sentiment(\n  economia_doc$dimnames$Terms,\n  language = \"english\"\n)\n\n# Calculando a frequ\u00eancia dos sentimentos\neconomia_sentimento_freq %\n  colSums() %>% \n  sort(decreasing = T)<\/pre>\n\n\n\n
Com a frequ\u00eancia calculada, vamos traduzir os sentimentos do ingl\u00eas para o portugu\u00eas e transformar o resultado em um dataframe<\/em> para depois gerar o gr\u00e1fico e visualizar os resultados.  <\/p>\n\n\n\n
# Criando um dataframe com os sentimentos traduzidos, que ser\u00e1 utilizado como de-para. \nsentimetos_traducao <- \n    data.frame(\n      sentiment = c(\n        \"positive\",\n        \"negative\",\n        \"trust\",\n        \"anticipation\",\n        \"fear\",\n        \"joy\",\n        \"sadness\",\n        \"surprise\",\n        \"anger\",\n        \"disgust\"\n      ),\n      sentimentos = c(\n        \"Positivo\",\n        \"Negativo\",\n        \"Confian\u00e7a\",\n        \"Antecipa\u00e7\u00e3o\",\n        \"Medo\",\n        \"Alegria\",\n        \"Tristeza\",\n        \"Surpresa\",\n        \"Raiva\",\n        \"Nojo\"\n      )\n    )\n\n# Tranformando os resultados da frequ\u00eancia em um dataframe \n# e juntando ao dataframe de tradu\u00e7\u00e3o\ndf_sentimento <- \n  data.frame(\n    sentiment = names(economia_sentimento_freq),\n    freq = economia_sentimento_freq\n  ) %>% \n  left_join(sentimetos_traducao, by = \"sentiment\") %>% \n  dplyr::select(-sentiment) %>% \n  arrange(desc(freq))\n\n# Visualizando a frequ\u00eancia dos sentimentos em rela\u00e7\u00e3o a #economy\nggplot(data = df_sentimento,\n           aes(x = reorder(sentimentos, -freq), y = freq)) +\n    geom_bar(aes(fill=sentimentos), stat = \"identity\") +\n    theme(legend.position = \"none\",\n          axis.text.x = element_text(angle = 45, hjus = 1)) +\n    xlab(\"Sentimentos\") +\n    ylab(\"Frequ\u00eancia\") +\n    ggtitle(titulo)<\/pre>\n\n\n\n
<\/figure>\n","protected":false},"excerpt":{"rendered":"
O processamento de linguagem natural (PLN) \u00e9 uma \u00e1rea dentro da Intelig\u00eancia Artificial que busca fazer com que os computadores entendam e simulem uma linguagem humana. Mas como ser\u00e1 que o PLN funciona na pr\u00e1tica?<\/p>\n","protected":false},"author":8,"featured_media":6674,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"site-sidebar-layout":"","site-content-layout":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","spay_email":"","footnotes":""},"categories":[443],"tags":[213,214,215,216,286,217],"class_list":["post-6669","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ciencia-de-dados","tag-ia","tag-inteligencia-artificial","tag-pln","tag-processamento-de-linguagem-natural","tag-rstats-2","tag-twitter"],"yoast_head":"\n