Python如何对CSV数据做清洗_数据预处理常用操作【教程】

Python清洗CSV数据的核心步骤是：用pandas读取并观察数据结构；统一处理缺失值（替换占位符、填充或删除）；标准化日期、数字、文本格式；剔除重复与异常值；最后保存为UTF-8-SIG编码的干净CSV。

Python处理CSV数据清洗和预处理，核心是用pandas读取、识别问题、统一格式、填充或剔除异常，再输出干净数据。不复杂但容易忽略细节。

读取CSV并初步观察数据

先用pandas加载文件，快速查看结构和典型值，判断是否有乱码、列名错位、空行等问题：

• pd.read_csv("data.csv", encoding="utf-8") —— 明确指定编码，避免中文乱码；若报错可试encoding="gbk"
• df.head(5) 和 df.info() 查看前几行和每列数据类型、非空数量
• df.describe(include="all") 快速了解数值与文本列的分布（如唯一值数、常见值）

处理缺失值与空字段

缺失值常见于空单元格、"NULL"、"N/A"、空白字符串等，需统一识别再处理：

• 用 df.replace({"": pd.NA, "NULL": pd.NA, "N/A": pd.NA}) 把常见占位符转为标准缺失标记
• 用 df.isna().sum() 查看各列缺失数量
• 数值列可填均值：df["age"].fillna(df["age"].mean(), inplace=True)
• 文本列常用众数或固定值（如"未知"）：df["city"].fillna(df["city"].mode()[0], inplace=True)
• 缺失过多（如>70%）且不可靠的列，考虑直接删：df.drop(columns=["remark"], inplace=True)

统一格式：日期、数字、文本标准化

同一含义的数据常以多种格式混存，需归一化才能后续分析：

• 日期列：用 pd.to_datetime(df["date"], errors="coerce") 转换，错误值变NaT；再用 dt.date 或 dt.strftime("%Y-%m-%d") 格式化
• 金额/数字含逗号或货币符号（如"$1,234.56"）：df["price"].str.replace(r"[^\d.-]", "", regex=True).astype(float)
• 文本列去首尾空格+统一小写：df["name"] = df["name"].str.strip().str.lower()
• 分类字段去重规整：df["status"] = df["status"].str.replace(r"\s+", " ", regex=True).str.strip()

剔除重复与明显异常行

重复记录影响统计，明显错误值（如年龄=999、价格=-1）需定位清除：

• 查重复：df.duplicated().sum()；删重复（保留首次）：df.drop_duplicates(inplace=True)
• 按业务逻辑设合理范围，例如年龄在0–120之间：df = df[(df["age"] >= 0) & (df["age"]
• 用箱线图法识别数值离群点（可选）：Q1 = df["score"].quantile(0.25); Q3 = df["score"].quantile(0.75); IQR = Q3 - Q1; df = df[~((df["score"] (Q3 + 1.5*IQR)))]

基本上就这些。清洗不是一步到位，建议每步后用 df.info() 和抽样检查验证效果。保存清洗后数据用 df.to_csv("cleaned.csv", index=False, encoding="utf-8-sig")（加-sig让Excel能正常打开中文）。

# excel  # python  # 编码  # 中文乱码  # csv  # 数据清洗  # 币 

相关文章： ,想在网上投简历，哪几个网站比较好？  如何在宝塔面板中修改默认建站目录？  ,巨量百应是干嘛的？  代刷网站制作软件,别人代刷火车票靠谱吗？  如何在建站之星网店版论坛获取技术支持？  网站建设制作需要多少钱费用,自己做一个网站要多少钱，模板一般多少钱？  如何在IIS中新建站点并配置端口与IP地址？  如何快速生成橙子建站落地页链接？  建站之星安装模板失败：服务器环境不兼容？  专业网站制作服务公司,有哪些网站可以免费发布招聘信息？  网站视频怎么制作,哪个网站可以免费收看好莱坞经典大片？  如何在阿里云通过域名搭建网站？  浙江网站制作公司有哪些,浙江栢塑信息技术有限公司定制网站做的怎么样？  如何零基础在云服务器搭建WordPress站点？  建站主机选择指南：服务器配置与SEO优化实战技巧  如何在香港服务器上快速搭建免备案网站？  网站建设制作、微信公众号,公明人民医院怎么在网上预约？  建站之星安装后如何自定义网站颜色与字体？  招商网站制作流程,网站招商广告语？  设计网站制作公司有哪些,制作网页教程？  可靠的网站设计制作软件,做网站设计需要什么样的电脑配置？  TestNG的testng.xml配置文件怎么写  如何在搬瓦工VPS快速搭建网站？  婚礼视频制作网站,学习*后期制作的网站有哪些？  专业网站制作企业网站,如何制作一个企业网站，建设网站的基本步骤有哪些？  ,sp开头的版面叫什么？  导航网站建站方案与优化指南：一站式高效搭建技巧解析  如何自定义建站之星模板颜色并下载新样式？  太原网站制作公司有哪些,网约车营运证查询官网？  常州企业建站如何选择最佳模板？  如何在景安云服务器上绑定域名并配置虚拟主机？  如何快速生成ASP一键建站模板并优化安全性？  高防服务器租用首荐平台，企业级优惠套餐快速部署  如何快速搭建自助建站会员专属系统？  电视网站制作tvbox接口,云海电视怎样自定义添加电视源？  微网站制作教程,我微信里的网站怎么才能复制到浏览器里？  建站之星导航配置指南：自助建站与SEO优化全解析  如何在橙子建站中快速调整背景颜色？  建站主机服务器选型指南与性能优化方案解析  如何在IIS服务器上快速部署高效网站？  建站之星图片链接生成指南：自助建站与智能设计教程  建站之星后台搭建步骤解析：模板选择与产品管理实操指南  历史网站制作软件,华为如何找回被删除的网站？  电商网站制作多少钱一个,电子商务公司的网站制作费用计入什么科目？  青岛网站设计制作公司,查询青岛招聘信息的网站有哪些？  如何快速搭建高效香港服务器网站？  香港服务器租用每月最低只需15元？  如何在阿里云购买域名并搭建网站？  建站之星安装需要哪些步骤及注意事项？  如何在万网ECS上快速搭建专属网站？