网页正文提取归档小记:Readability.js 与相对链接补全
收藏夹里攒的不少独立技术博客过两三年域名没续费就彻底 404 了,最近写了个小脚本把常翻的几篇长文抓成单文件离线 HTML 存本地。试了一圈正文抽取库,还是 Firefox 阅读模式同款的 @mozilla/readability 配合 linkedom 最稳。
import { Readability } from "@mozilla/readability";
import { parseHTML } from "linkedom";
export function extractArticle(rawHtml, pageUrl) {
const { document } = parseHTML(rawHtml);
// 关键一步:解析前先把图片和超链接的相对路径转成绝对 URL
for (const el of document.querySelectorAll("a[href], img[src]")) {
if (el.hasAttribute("href")) {
el.setAttribute("href", new URL(el.getAttribute("href"), pageUrl).href);
}
if (el.hasAttribute("src")) {
el.setAttribute("src", new URL(el.getAttribute("src"), pageUrl).href);
}
}
return new Readability(document, { keepClasses: false }).parse();
}
踩过一个小坑:有些技术站的代码块高亮是靠嵌套一大堆 <span class="line"> 拼出来的,如果原站没在每行末尾留真实换行符 \n,抽纯文本后所有代码会挤成一行。解决办法是在跑 Readability 之前遍历一遍 pre .line,末尾缺换行就手动补一个文本节点。