pandas去重需指定subset业务主键,keep参数控制保留策略,NaN需谨慎处理;空值应按成因选择填充或删除;类型转换前须用coerce验证;清洗步骤应函数化、可复现、可版本控制。
pandas.DataFrame.drop_duplicates() 去重前必须明确「去重依据」重复行不等于“完全相同”,业务上常需按关键字段判断是否冗余。比如用户表中 id 不同但 phone 和 email 都一致,应视为同一人重复录入。
df.drop_duplicates() 默认检查所有列,容易漏掉逻辑重复subset 参数指定业务主键,例如 df.drop_duplicates(subset=['phone', 'email'])
keep 参数:设为 'first'(默认)保留首次出现;设为 'last' 保留最新记录;设为 False 则全部删除——后者适合清理测试数据或临时脏数据NaN,pandas 默认把它们视为相等,可能误删。可先用 fillna() 统一处理,或改用 df[~df.duplicated(subset=..., keep='first')] 避免隐式 NaN 比较fillna() 或 dropna()
填均值、删整行看似简单,但会扭曲分布或丢失关键样本。真实清洗中要区分空值成因:是采集失败?字段不适用?还是用户主动留空?
df.isna().sum() 先看各列缺失比例;超过 70% 缺失且无业务补全路径的列,建议直接 df.drop(columns=['col_name'])
df['col'].fillna(df['col'].mean()) —— 若存在长尾分布(如订单金额),中位数更稳健:df['amount'].fillna(df['amount'].median())
df['status'].fillna(df['status'].mode()[0] if not df['status'].mode().empty else 'unknown')
pd.NaT 并单独建列 is_time_missing 供后续建模使用astype() 转类型前先验证数据合法性直接 df['age'].astype('int') 遇到 'N/A' 或浮点字符串会报 ValueError: invalid literal for int(),但错误信息不指明哪一行出问题。
pd.to_numeric(df['age'], errors='coerce') 将非法值转为 NaN,再检查 df['age'].isna().sum() 确认异常量级pd.to_datetime():含模糊格式(如 '2025-13-01' 或 'Q1 2025')会导致整列变 NaT。加参数 errors='coerce' 并配合 df['date'].dt.year.isna() 定位问题行category 类型前,先 df['city'].nunique() / len(df) 看基数率;若唯一值占比 > 0.5,转 category 反而增大内存临时写一堆 df = df[...]; df['x'] = ... 很快变成“只有当时写的人能看懂”的黑盒。下次数据源字段微调或新增校验项,就得重翻日志逐行改。
DataFrame,输出 DataFrame,不修改原对象。例如:def clean_phone_column(df):
df = df.copy()
df['phone'] = df['phone'].str.replace(r'\D', '', regex=True)
df = df[df['phone'].str.len() == 11]
return df
cleaning_pipeline = [('drop_dupes', drop_duplicates_by_key), ('clean_phone', clean_phone_column)],再循环调用保持可插拔assert df['user_id'].is_unique, "user_id contains duplicates after dedup",失败时立刻暴露问题而非静默带病运行最易被忽略的是:清洗规则本身需要版本控制。哪怕只是加了一行 df['score'] = df['score'].clip(lower=0, upper=100),也该和原始数据哈希值、执行时间一起记入元数据表——否则半年后发现模型效果下滑,根本没法回溯是哪次清洗引入了截断偏差。
相关文章:
淘宝制作网站有哪些,淘宝网官网主页?
如何快速查询网站的真实建站时间?
h5网站制作工具有哪些,h5页面制作工具有哪些?
制作国外网站的软件,国外有哪些比较优质的网站推荐?
如何在阿里云完成域名注册与建站?
网站插件制作软件免费下载,网页视频怎么下到本地插件?
交易网站制作流程,我想开通一个网站,注册一个交易网址,需要那些手续?
Android自定义控件实现温度旋转按钮效果
网站专业制作公司,网站编辑是做什么的?好做吗?工作前景如何?
做企业网站制作流程,企业网站制作基本流程有哪些?
北京专业网站制作设计师招聘,北京白云观官方网站?
在线ppt制作网站有哪些,请推荐几个好的课件下载的网站?
如何在阿里云虚拟机上搭建网站?步骤解析与避坑指南
如何确保FTP站点访问权限与数据传输安全?
建站之星安装后界面空白如何解决?
大学网站设计制作软件有哪些,如何将网站制作成自己app?
如何高效完成自助建站业务培训?
建站中国必看指南:CMS建站系统+手机网站搭建核心技巧解析
图册素材网站设计制作软件,图册的导出方式有几种?
桂林网站制作公司有哪些,桂林马拉松怎么报名?
如何基于云服务器快速搭建网站及云盘系统?
如何通过cPanel快速搭建网站?
如何选购建站域名与空间?自助平台全解析
活动邀请函制作网站有哪些,活动邀请函文案?
如何设计高效校园网站?
济南专业网站制作公司,济南信息工程学校怎么样?
天河区网站制作公司,广州天河区如何办理身份证?需要什么资料有预约的网站吗?
成都品牌网站制作公司,成都营业执照年报网上怎么办理?
广州网站制作的公司,现在专门做网站的公司有没有哪几家是比较好的,性价比高,模板也多的?
广州建站公司哪家好?十大优质服务商推荐
如何通过IIS搭建网站并配置访问权限?
如何在搬瓦工VPS快速搭建网站?
香港服务器建站指南:免备案优势与SEO优化技巧全解析
网站制作费用多少钱,一个网站的运营,需要哪些费用?
巅云智能建站系统:可视化拖拽+多端适配+免费模板一键生成
如何快速搭建二级域名独立网站?
如何快速搭建高效可靠的建站解决方案?
如何快速搭建支持数据库操作的智能建站平台?
小型网站制作HTML,*游戏网站怎么搭建?
合肥制作网站的公司有哪些,合肥聚美网络科技有限公司介绍?
建站之星24小时客服电话如何获取?
智能起名网站制作软件有哪些,制作logo的软件?
网页设计与网站制作内容,怎样注册网站?
怎么制作一个起泡网,水泡粪全漏粪育肥舍冬季氨气超过25ppm,可以有哪些措施降低舍内氨气水平?
整蛊网站制作软件,手机不停的收到各种网站的验证码短信,是手机病毒还是人为恶搞?有这种手机病毒吗?
c++怎么使用类型萃取type_traits_c++ 模板元编程类型判断【方法】
实惠建站价格推荐:2025年高性价比自助建站套餐解析
网站设计制作企业有哪些,抖音官网主页怎么设置?
如何制作算命网站,怎么注册算命网站?
武汉外贸网站制作公司,现在武汉外贸前景怎么样啊?
*请认真填写需求信息,我们会在24小时内与您取得联系。