Pandas se destaca como a biblioteca de análise de dados mais utilizada na linguagem Python. Sua adoção é generalizada entre analistas de dados, cientistas de dados e engenheiros de aprendizado de máquina.
Juntamente com o NumPy, o Pandas figura como uma das ferramentas e bibliotecas essenciais para qualquer profissional que trabalhe com dados e inteligência artificial.
Este artigo tem como objetivo explorar o Pandas, destacando as características que o consolidaram como uma ferramenta tão popular no universo do processamento de dados.
O que é o Pandas?
Pandas é, em essência, uma biblioteca de análise de dados para Python. Isso significa que sua principal função é facilitar a manipulação e o trabalho com dados diretamente dentro do código Python. Com o Pandas, é possível ler, modificar, visualizar, analisar e armazenar dados com uma notável eficiência.
O nome ‘Pandas’ deriva da junção das palavras Panel Data, um termo utilizado em econometria para se referir a dados coletados a partir da observação de múltiplos indivíduos ao longo do tempo. Lançado originalmente em janeiro de 2008 por Wes Kinney, o Pandas evoluiu para se tornar a biblioteca mais popular em sua área de atuação.
No núcleo do Pandas, encontram-se duas estruturas de dados fundamentais: DataFrames e Series. Ao criar ou carregar um conjunto de dados no Pandas, ele é estruturado em uma dessas duas formas.
Na próxima seção, abordaremos em detalhes as características de cada uma dessas estruturas, suas diferenças e os cenários ideais de uso.
Estruturas de Dados Essenciais
Conforme mencionado anteriormente, todos os dados no Pandas são representados por meio de uma das duas estruturas de dados: DataFrames ou Series. A seguir, apresentamos uma análise detalhada de cada uma dessas estruturas.
DataFrame
O DataFrame apresentado neste exemplo foi gerado a partir do trecho de código no final desta seção.
Um DataFrame no Pandas é uma estrutura de dados bidimensional, composta por colunas e linhas, assemelhando-se a uma planilha de um software de edição de planilhas ou a uma tabela em um banco de dados relacional.
Ele é formado por colunas, onde cada coluna representa um atributo ou característica do conjunto de dados. Essas colunas são compostas por valores individuais, e essa sequência de valores é representada por um objeto Series. A estrutura Series será detalhada adiante neste artigo.
As colunas em um DataFrame podem receber nomes descritivos para facilitar sua diferenciação. Esses nomes são atribuídos no momento da criação ou carregamento do DataFrame, mas podem ser alterados a qualquer momento.
Os valores em uma coluna devem ser do mesmo tipo de dado, embora as colunas possam conter tipos diferentes de dados. Por exemplo, uma coluna de nomes em um conjunto de dados armazenará somente strings, enquanto a coluna de idade armazenará apenas números inteiros.
Os DataFrames também incluem um índice usado para referenciar as linhas. Valores de colunas distintas, mas com o mesmo índice, formam uma linha. Por padrão, os índices são numéricos, mas podem ser redefinidos para melhor se adequar ao conjunto de dados. No exemplo (imagem acima, código abaixo), a coluna ‘meses’ foi utilizada como índice.
import pandas as pd
sales_df = pd.DataFrame({
'Month': ['January', 'February', 'March'],
'Jane Doe': [5000, 6000, 5500],
'John Doe': [4500, 6700, 6000]
})
sales_df.set_index(['Month'], inplace=True)
print(sales_df)
Series
A Series apresentada neste exemplo foi gerada usando o código disponível ao final desta seção.
Como já mencionado, uma Series é utilizada para representar uma coluna de dados no Pandas. Trata-se de uma estrutura de dados unidimensional, diferentemente do DataFrame, que é bidimensional.
Embora a Series seja frequentemente utilizada como coluna dentro de um DataFrame, ela também pode representar um conjunto de dados completo de forma independente, desde que esse conjunto de dados possua apenas um atributo registrado em uma única coluna, ou seja, uma lista de valores.
Por ser essencialmente uma coluna, uma Series não precisa ter um nome. No entanto, os valores dentro da Series são indexados. Da mesma forma que o índice de um DataFrame, o índice de uma Series pode ser modificado a partir da numeração padrão.
No exemplo (ilustrado acima, codificado abaixo), o índice foi definido para diferentes meses utilizando o método set_axis de um objeto Pandas Series.
import pandas as pd total_sales = pd.Series([9500, 12700, 11500]) months = ['January', 'February', 'March'] total_sales = total_sales.set_axis(months) print(total_sales)
Funcionalidades do Pandas
Com uma compreensão clara do que é o Pandas e de suas principais estruturas de dados, podemos agora explorar as funcionalidades que o tornam uma biblioteca tão poderosa e popular na ciência de dados e no aprendizado de máquina.
#1. Manipulação de Dados
Tanto os objetos DataFrame quanto Series são mutáveis, permitindo adicionar ou remover colunas conforme necessário. Além disso, o Pandas oferece a possibilidade de adicionar linhas e até mesmo de mesclar conjuntos de dados.
É possível realizar cálculos numéricos, como normalização de dados e comparações lógicas elemento a elemento. O Pandas também possibilita agrupar dados e aplicar funções de agregação, como média, mediana, máximo e mínimo. Isso torna o trabalho com dados no Pandas muito mais eficiente e prático.
#2. Limpeza de Dados
Os dados coletados no mundo real frequentemente apresentam valores que dificultam a análise ou o uso em modelos de aprendizado de máquina. Os dados podem estar no formato incorreto, com o tipo de dados inadequado ou podem estar ausentes. Nesses casos, é necessário realizar um pré-processamento conhecido como limpeza de dados.
O Pandas oferece funcionalidades para auxiliar na limpeza de dados. Por exemplo, é possível excluir linhas duplicadas, remover colunas ou linhas com dados faltantes e substituir valores por padrões ou por valores como a média da coluna. Existem também outras bibliotecas que se integram com o Pandas, oferecendo recursos adicionais para a limpeza de dados.
#3. Visualização de Dados
Este gráfico foi gerado usando o código apresentado abaixo desta seção.
Apesar de não ser uma biblioteca de visualização completa como o Matplotlib, o Pandas inclui funções para gerar visualizações básicas de dados. Essas visualizações, embora simples, são suficientes na maioria dos casos.
Com o Pandas, é possível criar gráficos de barras, histogramas, gráficos de dispersão e outros tipos de visualizações com facilidade. Ao combinar essas funcionalidades com as manipulações de dados que podem ser realizadas em Python, é possível criar visualizações mais complexas para uma melhor compreensão dos dados.
import pandas as pd
sales_df = pd.DataFrame({
'Month': ['January', 'February', 'March'],
'Jane Doe': [5000, 6000, 5500],
'John Doe': [4500, 6700, 6000]
})
sales_df.set_index(['Month'], inplace=True)
sales_df.plot.line()
#4. Análise de Séries Temporais
O Pandas também oferece suporte para trabalhar com dados de séries temporais, ou seja, dados que possuem informações de data e hora. Quando uma coluna é reconhecida pelo Pandas como contendo valores de data e hora, é possível executar diversas operações úteis para análise de séries temporais.
Isso inclui o agrupamento de observações por períodos de tempo e a aplicação de funções de agregação, como soma ou média, ou a identificação das observações mais antigas ou mais recentes utilizando min e max. As possibilidades de análise de dados de séries temporais no Pandas são vastas.
#5. Entrada e Saída de Dados em Pandas
O Pandas é capaz de ler dados dos formatos de armazenamento mais utilizados, incluindo JSON, SQL Dumps e CSVs. Além disso, é possível salvar dados nesses mesmos formatos.
Essa capacidade de leitura e escrita em diversos formatos de arquivo permite que o Pandas se integre facilmente a outros aplicativos e crie pipelines de dados que se harmonizam bem com o Pandas, sendo esta uma das razões de sua ampla adoção.
#6. Integração com Outras Bibliotecas
O Pandas se beneficia de um rico ecossistema de ferramentas e bibliotecas que complementam suas funcionalidades, tornando-o ainda mais poderoso e útil.
As ferramentas desse ecossistema aprimoram as funcionalidades do Pandas em diversas áreas, como limpeza de dados, visualização, aprendizado de máquina, entrada e saída de dados e paralelização. O Pandas mantém um registro dessas ferramentas em sua documentação.
Considerações sobre Desempenho e Eficiência no Pandas
Embora o Pandas se destaque na maioria das operações, seu desempenho pode ser considerado lento em alguns casos. Entretanto, é possível otimizar o código para melhorar a velocidade. Para isso, é fundamental entender a arquitetura do Pandas.
O Pandas é construído sobre o NumPy, uma biblioteca popular de Python para computação numérica e científica. Assim como o NumPy, o Pandas opera de forma mais eficiente quando as operações são vetorizadas, em vez de selecionar células ou linhas individuais usando loops.
A vetorização é uma forma de paralelização em que a mesma operação é aplicada a vários pontos de dados simultaneamente, utilizando o conceito de SIMD (Single Instruction, Multiple Data). O uso de operações vetorizadas pode melhorar drasticamente a velocidade e o desempenho do Pandas.
Por utilizarem matrizes NumPy em sua estrutura, os DataFrames e Series são mais rápidos do que seus equivalentes, como dicionários e listas.
A implementação padrão do Pandas é executada em apenas um núcleo da CPU. Uma forma de acelerar o código é utilizar bibliotecas que permitem que o Pandas utilize todos os núcleos de CPU disponíveis, como Dask, Vaex, Modin e IPython.
Comunidade e Recursos
Por ser uma biblioteca popular em uma linguagem de programação amplamente utilizada, o Pandas possui uma grande comunidade de usuários e colaboradores. Como resultado, existem inúmeros recursos disponíveis para aprender a usá-lo, incluindo a documentação oficial do Pandas, cursos, tutoriais e livros.
Existem também comunidades online em plataformas como o Reddit, nos subreddits r/Python e r/Data Science, onde é possível fazer perguntas e obter respostas. Por ser uma biblioteca de código aberto, é possível reportar problemas no GitHub e até mesmo contribuir com código.
Considerações Finais
O Pandas é uma ferramenta incrivelmente útil e poderosa para a ciência de dados. Neste artigo, exploramos os recursos que o tornam a escolha ideal para cientistas de dados e programadores, explicando sua popularidade.
Para dar continuidade ao seu aprendizado, confira nosso artigo sobre como criar um DataFrame no Pandas.