跳转到主内容
极星编程网:以代码为星,赴技术山海!

如何基于子字符串匹配实现 Pandas DataFrame 左连接

本文介绍一种高效、可靠的方法:通过正则提取 + 左连接,将 dataframe `a` 中的名称字段与 dataframe `b` 的 id 字段(含前缀格式如 `"name-123"`)进行子字符串匹配关联,并确保一对多关系正确展开。 在实际数据处理中,常遇到“模糊主键”场景:一个表(如 a)含规范名称("Name"),另一表(如 b)含复合标识符("ID",如 "Boomhaur-2345"),需按名称是否为 ID 的 前缀子串 建立关联。此时无法直接使用 merge(on=...),但可通过 正则表达式 精准提取并桥接。 核心思路分两步: 从 b["ID"] 中提取所有可能匹配 a["Name"] 的子串 ,生成临时键 _name; 以 a["Name"] 与 b["_name"] 为键执行左连接(left merge) ,天然支持 a 中单个名称匹配 b 中多个 ID(如 "Bill" → "Bill-000" 和 "Bill-001"),且未匹配项自动填充 NaN(如 "Hank")。 以下是完整可运行代码:
import pandas as pd # 构造示例数据 a = pd.DataFrame({"Name": ["Boomhaur", "Dale", "Bill", "Hank"]}) b = pd.DataFrame({"ID": ["Boomhaur-2345", "Dale-999999", "Bill-000", "Bill-001", "Peggy-420"]}) # 步骤1:构建正则模式,确保单词边界匹配(避免 'Bill' 错配 'Billy') names_pattern = r'(' + '|'.join(a['Name'].str.replace(r'[^w]', r'\$0', regex=True)) + r')' b['_name'] = b["ID"].str.extract(names_pattern) # 步骤2:左连接,保留 a 全部行,扩展匹配的 ID 及其他字段 result = a.merge(b, how='left', left_on='Name', right_on='_name').drop(columns=['_name']) print(result)
输出结果: perl正则表达式学习手册pdf版 perl正则表达式学习手册pdf版,点击下载解压即可。想学习perl正则的朋友需要看。 下载
Name ID 0 Boomhaur Boomhaur-2345 1 Dale Dale-999999 2 Bill Bill-000 3 Bill Bill-001 4 Hank NaN
✅ 关键注意事项 : 使用 (单词边界)防止部分匹配(如 "Bill" 不应匹配 "Billy-123"); 对 a["Name"] 中可能含正则元字符(如 .、*、+)的值,务必先用 str.replace(..., regex=True) 转义,否则正则会失效或报错; 若 b 含多列需保留,merge 会自动带入(无需额外操作); how='left' 确保 a 行数不变,未匹配项 ID 为 NaN,符合题目中 "Hank → NaN" 的要求。 该方案时间复杂度为 O(n·m),适用于中等规模数据;若数据量极大(百万级),可考虑预构建 b 的映射字典或使用 swifter 加速正则提取。

相关文章