Prueba de limpieza de datos para entrevistas: errores comunes a evitar

Comúnmente pasados por alto, pero fundamentales en el análisis de datos, la limpieza de datos puede ser la diferencia entre obtener insights claros y un informe confuso. En las entrevistas, los candidatos a menudo flaquean cuando se les presenta conjuntos de datos que presentan inconsistencias en el formato o tipos de datos. Enfocémonos en enfoques prácticos para limpiar datos, utilizando ejemplos de escenarios comerciales comunes que podrías enfrentar durante las entrevistas o en el trabajo.

Imagina que tu empleador te ha entregado un informe de ventas cargado de discrepancias: formatos inconsistentes de números de teléfono, representaciones diversas de fechas y tipos de datos mixtos para las cifras de ventas. Limpiar estos datos no es solo una tarea; es una habilidad crítica que demuestra tu atención al detalle.

Limpieza de Números de Teléfono

Considera un conjunto de datos simple con una columna para números de teléfono:

Nombre	Número de Teléfono
Alice	(123) 456-7890
Bob	123-456-7890
Carol	1234567890
Dave	(123)4567890

Tarea: Hacer que todos los números de teléfono sigan el formato "123-456-7890".

Solución Paso a Paso:

1. Identificar el Problema: Los números de teléfono están formateados de manera inconsistente.
2. Fórmula/Implementación:
   • En Excel, puedes usar las siguientes fórmulas para limpiar los datos:

   =TEXTJOIN("-", TRUE, MID(SUBSTITUTE(SUBSTITUTE(A2, "(", ""), ")", ""), LEN(A2)-8, 10))
   

   • En pandas de Python, puedes usar:

   import pandas as pd
   df['Número de Teléfono'] = df['Número de Teléfono'].replace(r'[() -]', '', regex=True)
   df['Número de Teléfono'] = df['Número de Teléfono'].str.replace(r'([0-9]{3})([0-9]{3})([0-9]{4})', r'\1-\2-\3')
   

3. Resultado: Los números de teléfono limpiados son ahora:

Nombre	Número de Teléfono
Alice	123-456-7890
Bob	123-456-7890
Carol	123-456-7890
Dave	123-456-7890

Error Común:

Los candidatos a menudo no se dan cuenta de las diversas maneras en que los números de teléfono pueden estar formateados y suponen que solo hay un enfoque. No normalizar varias versiones del número de teléfono, o aplicar una única fórmula sin tener en cuenta los matices, a menudo lleva a procesos de limpieza incompletos.

Manejo de Formatos de Fecha Inconsistentes

A continuación, abordemos otro obstáculo:

ID del Pedido	Fecha del Pedido
1	01/25/2021
2	25-01-2021
3	2021/01/29
4	01/31/21

Tarea: Convertir todas las fechas de pedido al formato "MM/DD/YYYY".

Solución Paso a Paso:

1. Identificar el Problema: Las fechas están formateadas de manera inconsistente.
2. Fórmula/Implementación:
   • En Excel, usa la siguiente fórmula:

   =IFERROR(DATEVALUE(A2), DATEVALUE(TEXT(A2,"MM/DD/YYYY")))
   

   • En pandas:

   df['Fecha del Pedido'] = pd.to_datetime(df['Fecha del Pedido'], errors='coerce')
   df['Fecha del Pedido'] = df['Fecha del Pedido'].dt.strftime('%m/%d/%Y')
   

3. Resultado: Todas las fechas están estandarizadas:

ID del Pedido	Fecha del Pedido
1	01/25/2021
2	01/25/2021
3	01/29/2021
4	01/31/2021

Error Común:

Los candidatos frecuentemente pasan por alto la importancia de especificar errors='coerce' en pandas, lo que lleva a que las entradas no válidas se traten como errores en lugar de ser reformateadas como NaT. Esto significa que la integridad de los datos se ve comprometida en sus análisis.

Limpieza de Formatos de Datos de Ventas

Finalmente, manejemos tipos de datos inconsistentes en las cifras de ventas:

Producto	Ventas
A	$100
B	200
C	$150.50
D	'$180'

Tarea: Asegurar que todas las cifras de ventas sean del tipo float para cálculos precisos.

Solución Paso a Paso:

1. Identificar el Problema: Las cifras de ventas son una mezcla de formatos de cadenas y numéricos.
2. Fórmula/Implementación:
   • En Excel:

   =VALUE(SUBSTITUTE(SUBSTITUTE(A2,"$", ""),"'", ""))
   

   • En pandas:

   df['Ventas'] = df['Ventas'].replace({'$': '', "'": ''}, regex=True).astype(float)
   

3. Resultado: Todas las cifras de ventas son ahora floats:

Producto	Ventas
A	100.00
B	200.00
C	150.50
D	180.00

Error Común:

Los candidatos a menudo suponen que pueden convertir la columna directamente a float sin primero sanear las cadenas, lo que lleva a errores de conversión y la posible pérdida de datos críticos.

Trampas en la Entrevista

• Ignorar Casos Especiales: No tener en cuenta todos los formatos posibles puede llevar a una limpieza de datos incompleta, causando errores en el análisis.
• Usar Soluciones Universales: Depender de una única fórmula o función sin validarla contra todo el conjunto de datos puede llevar a discrepancias.
• Desatender la Validación de Datos: Pasar por alto la oportunidad de verificar entradas no numéricas en una supuesta columna numérica causará errores de cálculo.

En el Trabajo

En realidad, la limpieza de datos es un proceso iterativo donde surgen complicaciones inesperadas a diario. Ya sea que estés preparando conjuntos de datos para informes en Excel o realizando tareas de ETL en Python, una metodología robusta de limpieza de datos ahorrará horas en solución de problemas y corrección de errores en el futuro. Las prácticas sólidas incluyen control de versiones de conjuntos de datos, documentación de procedimientos de limpieza y consideración de la automatización donde sea posible.

Ser meticuloso durante la limpieza de datos no solo asegura un análisis de calidad, sino que también te posiciona como un candidato confiable para cualquier rol orientado a datos. Los candidatos que puedan demostrar su conocimiento de estos procedimientos en entrevistas destacarán en el proceso de selección.

Referencias

• Funciones de Excel
• Documentación de Pandas
• Técnicas de Limpieza de Datos