页边剪报

剪报:macOS 与 Linux 间压缩包文件名 NFC / NFD 归一化坑

· 来源备忘:Unicode Standard Annex #15 & Python unicodedata 文档 #unicode#python

同事在 Mac 上导出的带重音字母和日文假名的素材包,传到 Linux 对象存储再按数据库里的文件名匹配,肉眼看着一模一样,字符串相等判断死活是 False。打成字节一看才想起来 HFS+/APFS 的分解形式(NFD)老坑:

import unicodedata

s1 = "プ"                      # NFC: '\u30d7' (len=1)
s2 = unicodedata.normalize("NFD", s1)  # NFD: '\u30d5\u309a' (len=2, フ + 半浊点)

print(s1 == s2)  # False!
print(unicodedata.normalize("NFC", s2) == s1)  # True
Always normalize user-supplied filenames and search queries to NFC at system boundaries before storing or indexing them.
— W3C Character Model for the World Wide Web: String Matching

以后凡是接上传文件名、WebDAV 同步或者跨平台脚本比对路径,入库前统一过一道 unicodedata.normalize("NFC", name)。