Concepto
Una fila duplicada es un registro que aparece dos veces: una exportación que se corrió dos veces o un sensor que envió la misma lectura repetida. Si no los quitas, cada duplicado se suma dos veces y los totales quedan inflados.
df.drop_duplicates()Detectarlos. duplicated() marca con True cada fila que es copia exacta de una anterior. La primera aparición queda en False, porque es la original. Sumado, cuenta cuántas copias sobran.
pedidos.duplicated().sum()Mirarlos antes de borrar. Con keep=False se marcan todas las apariciones, incluida la original, para ver juntos los registros repetidos y confirmar que de verdad son copias.
pedidos[pedidos.duplicated(keep=False)]Eliminarlos. drop_duplicates() devuelve la tabla con una sola aparición de cada fila repetida. Como casi todo en pandas, no cambia la tabla original: guarda el resultado.
pedidos_limpios = pedidos.drop_duplicates()Duplicados por algunas columnas. A veces dos filas no son idénticas, pero no deberían existir las dos: un mismo número de pedido no debería aparecer dos veces, aunque cambie otra columna. subset revisa solo las columnas que definen un registro único.
pedidos.duplicated(subset=["pedido_id"])> tarea Python
Con sensor ya cargada: guarda en copias_sobrantes cuántas filas son copia de una anterior. Guarda en repetidas todas las apariciones de las filas repetidas (originales y copias), para revisarlas. Después guarda en sensor_limpio la tabla sin duplicados, y en filas_limpias cuántas filas le quedaron.
Primero intenta: las pistas aparecen después de 2 intentos con un resultado incorrecto (los errores de código no cuentan). Llevas 0.