<?xml version="1.0" encoding="utf-8"?>
<feed xmlns="http://www.w3.org/2005/Atom">
  <title>页边剪报</title>
  <subtitle>个人技术网摘与排障随笔</subtitle>
  <link href="https://clip.103105.xyz/atom.xml" rel="self"/>
  <link href="https://clip.103105.xyz/"/>
  <id>https://clip.103105.xyz/</id>
  <updated>2023-10-14T21:34:16+08:00</updated>
  <entry>
    <title>网页正文提取归档小记：Readability.js 与相对链接补全</title>
    <link href="https://clip.103105.xyz/2023/10/readability-dom-clipping-notes.html"/>
    <id>https://clip.103105.xyz/2023/10/readability-dom-clipping-notes.html</id>
    <updated>2023-10-14T21:34:16+08:00</updated>
    <content type="html">&lt;p&gt;收藏夹里攒的不少独立技术博客过两三年域名没续费就彻底 404 了，最近写了个小脚本把常翻的几篇长文抓成单文件离线 HTML 存本地。试了一圈正文抽取库，还是 Firefox 阅读模式同款的 &lt;code&gt;@mozilla/readability&lt;/code&gt; 配合 &lt;code&gt;linkedom&lt;/code&gt; 最稳。&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;import { Readability } from &quot;@mozilla/readability&quot;;
import { parseHTML } from &quot;linkedom&quot;;

export function extractArticle(rawHtml, pageUrl) {
  const { document } = parseHTML(rawHtml);
  // 关键一步：解析前先把图片和超链接的相对路径转成绝对 URL
  for (const el of document.querySelectorAll(&quot;a[href], img[src]&quot;)) {
    if (el.hasAttribute(&quot;href&quot;)) {
      el.setAttribute(&quot;href&quot;, new URL(el.getAttribute(&quot;href&quot;), pageUrl).href);
    }
    if (el.hasAttribute(&quot;src&quot;)) {
      el.setAttribute(&quot;src&quot;, new URL(el.getAttribute(&quot;src&quot;), pageUrl).href);
    }
  }
  return new Readability(document, { keepClasses: false }).parse();
}&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;踩过一个小坑：有些技术站的代码块高亮是靠嵌套一大堆 &lt;code&gt;&amp;lt;span class=&quot;line&quot;&amp;gt;&lt;/code&gt; 拼出来的，如果原站没在每行末尾留真实换行符 &lt;code&gt;\n&lt;/code&gt;，抽纯文本后所有代码会挤成一行。解决办法是在跑 Readability 之前遍历一遍 &lt;code&gt;pre .line&lt;/code&gt;，末尾缺换行就手动补一个文本节点。&lt;/p&gt;</content>
  </entry>
  <entry>
    <title>Go 1.21 标准库 log/slog 上手：Group、LogValuer 与开销控制</title>
    <link href="https://clip.103105.xyz/2023/08/go-121-slog-notes.html"/>
    <id>https://clip.103105.xyz/2023/08/go-121-slog-notes.html</id>
    <updated>2023-08-27T18:51:29+08:00</updated>
    <content type="html">&lt;p&gt;Go 1.21 把结构化日志收进标准库 &lt;code&gt;log/slog&lt;/code&gt; 了，新写的小服务终于不用一上来就在 &lt;code&gt;zap&lt;/code&gt; 和 &lt;code&gt;zerolog&lt;/code&gt; 之间纠结。把官方文章里最实用的两点抄下来：&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;// 1. 实现 slog.LogValuer 接口统一脱敏，避免哪处打日志漏掉字段
type Credentials struct {
    User   string
    Secret string
}

func (c Credentials) LogValue() slog.Value {
    return slog.GroupValue(
        slog.String(&quot;user&quot;, c.User),
        slog.String(&quot;secret&quot;, &quot;[REDACTED]&quot;),
    )
}

// 2. 热路径用 LogAttrs 配合 slog.Attr 避免装箱内存分配
logger.LogAttrs(ctx, slog.LevelInfo, &quot;job finished&quot;,
    slog.Int(&quot;items&quot;, count),
    slog.Duration(&quot;elapsed&quot;, time.Since(start)),
)&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;平时写业务代码直接传键值对 &lt;code&gt;slog.Info(&quot;msg&quot;, &quot;k&quot;, v)&lt;/code&gt; 足够清晰；怕漏传偶数个参数导致出现 &lt;code&gt;!BADKEY&lt;/code&gt; 的话，跑 &lt;code&gt;go vet&lt;/code&gt; 现在已经能静态检查出来了。&lt;/p&gt;</content>
  </entry>
  <entry>
    <title>curl 分阶段耗时模板与 --resolve 免改 hosts 验证证书</title>
    <link href="https://clip.103105.xyz/2023/06/curl-timing-and-resolve-tricks.html"/>
    <id>https://clip.103105.xyz/2023/06/curl-timing-and-resolve-tricks.html</id>
    <updated>2023-06-18T11:25:03+08:00</updated>
    <content type="html">&lt;p&gt;接口偶发变慢时，光看总耗时分不清是卡在 DNS 解析、TCP 握手、TLS 协商还是后端首字节处理（TTFB）。在机器上放一小段 &lt;code&gt;curl -w&lt;/code&gt; 格式串，一眼就能定位在哪一环：&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;curl -sS -o /dev/null -w &#x27;\
    namelookup:  %{time_namelookup}s\n\
       connect:  %{time_connect}s\n\
    appconnect:  %{time_appconnect}s\n\
  starttransfer: %{time_starttransfer}s\n\
         total:  %{time_total}s (HTTP %{http_code}, v%{http_version})\n&#x27; \
  https://example.org/healthz&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;另外切 DNS 之前想测某台新机上的证书和虚拟主机配对不对，千万别直接 &lt;code&gt;curl -H &quot;Host: a.com&quot; https://1.2.3.4/&lt;/code&gt;——那样 TLS 握手里的 SNI 还是空的，拿不到对的证书。正确姿势是用 &lt;code&gt;--resolve&lt;/code&gt;：&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;curl -v --resolve a.example.org:443:198.51.100.12 https://a.example.org/&lt;/code&gt;&lt;/pre&gt;</content>
  </entry>
  <entry>
    <title>剪报：PostgreSQL 15 MERGE 与 INSERT ... ON CONFLICT 的并发语义差异</title>
    <link href="https://clip.103105.xyz/2023/04/postgres-15-merge-vs-on-conflict.html"/>
    <id>https://clip.103105.xyz/2023/04/postgres-15-merge-vs-on-conflict.html</id>
    <updated>2023-04-23T21:08:44+08:00</updated>
    <content type="html">&lt;p&gt;PG 15 终于加上了标准 SQL 的 &lt;code&gt;MERGE&lt;/code&gt; 语句，第一反应是以后是不是不用写 &lt;code&gt;ON CONFLICT DO UPDATE&lt;/code&gt; 了。读完 Cybertec 的测试文章才发现两者的并发保证根本不是一回事：&lt;/p&gt;
&lt;blockquote&gt;
  MERGE does not guarantee atomicity against concurrent INSERTs under READ COMMITTED: if two sessions run MERGE for the same missing key simultaneously, both see NOT MATCHED and one can still fail with unique_violation!
  &lt;footer&gt;— cybertec-postgresql.com, MERGE in PostgreSQL 15&lt;/footer&gt;
&lt;/blockquote&gt;
&lt;p&gt;简单记结论：&lt;/p&gt;
&lt;ul&gt;
  &lt;li&gt;单条或小批量高频并发幂等写入（“有则更新，无则插入”），老老实实继续用 &lt;code&gt;INSERT ... ON CONFLICT&lt;/code&gt;，它有底层 speculative insertion 锁兜底，绝不会抛唯一键冲突。&lt;/li&gt;
  &lt;li&gt;跑批同步整张临时表（既有更新、又有新增、还要顺带把源表消失的行 &lt;code&gt;DELETE&lt;/code&gt; 掉），这时候才是 &lt;code&gt;MERGE&lt;/code&gt; 的主场。&lt;/li&gt;
&lt;/ul&gt;</content>
  </entry>
  <entry>
    <title>Debian 第三方 APT 源迁移到 DEB822 (.sources) 与独立 keyring</title>
    <link href="https://clip.103105.xyz/2023/02/debian-bookworm-deb822-sources.html"/>
    <id>https://clip.103105.xyz/2023/02/debian-bookworm-deb822-sources.html</id>
    <updated>2023-02-12T15:39:18+08:00</updated>
    <content type="html">&lt;p&gt;&lt;code&gt;apt-key&lt;/code&gt; 彻底标记废弃以后，再把第三方仓库的 GPG 公钥一股脑丢进全局信任目录就不合规范了（相当于允许某个小工具源给系统核心包签名）。新推的 DEB822 多行键值对格式可读性比以前的单行长串好太多，顺手存个模板：&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;# /etc/apt/sources.list.d/example-repo.sources
Types: deb
URIs: https://packages.example.org/debian
Suites: bookworm
Components: main
Architectures: amd64
Signed-By: /etc/apt/keyrings/example-repo.asc&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;注意后缀如果是二进制 &lt;code&gt;.gpg&lt;/code&gt; 需要提前 &lt;code&gt;gpg --dearmor&lt;/code&gt;；如果直接存成 ASCII 装甲文本，在较新的 APT 里可以直接用 &lt;code&gt;.asc&lt;/code&gt; 后缀并设权限 &lt;code&gt;0644&lt;/code&gt;，省去在极简镜像里特意装一整套 gnupg。&lt;/p&gt;</content>
  </entry>
  <entry>
    <title>Redis 线上大 Key 排查与 UNLINK / HSCAN 渐进清理摘录</title>
    <link href="https://clip.103105.xyz/2022/12/redis-bigkey-scan-unlink.html"/>
    <id>https://clip.103105.xyz/2022/12/redis-bigkey-scan-unlink.html</id>
    <updated>2022-12-11T20:15:36+08:00</updated>
    <content type="html">&lt;p&gt;Redis 单线程执行命令时，对一个塞了百万元素的 Hash 或 Set 直接敲 &lt;code&gt;DEL&lt;/code&gt; 会把主线程卡死好几百毫秒。整理两个低峰期安全摸底和清理的套路：&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;# 用内置采样扫大 key，加上 -i 0.05 每扫 100 次歇 50ms 降低冲击
redis-cli -h 127.0.0.1 --bigkeys -i 0.05

# 查看单个 key 实际占用的内存字节数（抽样估算）
redis-cli MEMORY USAGE user:feed:10086 SAMPLES 5&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;如果 Redis 版本 &amp;gt;= 4.0，整键淘汰优先用异步回收线程的 &lt;code&gt;UNLINK&lt;/code&gt; 替代 &lt;code&gt;DEL&lt;/code&gt;；如果是不能整键删、只能清掉大 Hash 里过期字段的场景，用脚本每次 &lt;code&gt;HSCAN&lt;/code&gt; 游标扫 200 条再分批 &lt;code&gt;HDEL&lt;/code&gt;，中间留一点 sleep，线上延迟曲线基本纹丝不动。&lt;/p&gt;</content>
  </entry>
  <entry>
    <title>把几个老 crontab 迁到 systemd.timer 后的顺手之处</title>
    <link href="https://clip.103105.xyz/2022/10/systemd-timer-vs-cron-notes.html"/>
    <id>https://clip.103105.xyz/2022/10/systemd-timer-vs-cron-notes.html</id>
    <updated>2022-10-30T13:47:22+08:00</updated>
    <content type="html">&lt;p&gt;传统 cron 有三个老毛病：环境变量残缺（经常少 &lt;code&gt;/usr/local/bin&lt;/code&gt;）、上一轮卡死后下一轮叠罗汉并发跑、没有独立日志只能自己重定向追加文件。换成同名 &lt;code&gt;.service&lt;/code&gt; + &lt;code&gt;.timer&lt;/code&gt; 后这三件事全自带了：&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;# /etc/systemd/system/backup-db.timer
[Unit]
Description=Nightly database dump timer

[Timer]
OnCalendar=*-*-* 03:20:00
RandomizedDelaySec=15m
Persistent=true

[Install]
WantedBy=timers.target&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;因为对应的 &lt;code&gt;Type=oneshot&lt;/code&gt; 服务在还没退出时不会被 timer 重复拉起，天然防重入。写完日历表达式不用瞎猜，直接拿内置工具验算未来五次触发时间：&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;systemd-analyze calendar --iterations=5 &#x27;*-*-* 03:20:00&#x27;
systemctl list-timers --all&lt;/code&gt;&lt;/pre&gt;</content>
  </entry>
  <entry>
    <title>剪报：Cache-Control 常见组合与 no-cache 的字面误区</title>
    <link href="https://clip.103105.xyz/2022/09/http-cache-control-etag-cheatsheet.html"/>
    <id>https://clip.103105.xyz/2022/09/http-cache-control-etag-cheatsheet.html</id>
    <updated>2022-09-25T19:02:41+08:00</updated>
    <content type="html">&lt;p&gt;每隔一段时间就会有人把 &lt;code&gt;Cache-Control: no-cache&lt;/code&gt; 和 &lt;code&gt;no-store&lt;/code&gt; 记混。把 Jake Archibald 那篇经典文章里的两套黄金组合再抄一遍：&lt;/p&gt;
&lt;blockquote&gt;
  &quot;no-cache&quot; doesn&#x27;t mean &quot;don&#x27;t cache&quot;, it means it must check (revalidate via If-None-Match / ETag) with the server before using the cached resource. &quot;no-store&quot; means don&#x27;t keep a copy at all.
  &lt;footer&gt;— jakearchibald.com, Caching best practices &amp;amp; max-age gotchas&lt;/footer&gt;
&lt;/blockquote&gt;
&lt;pre&gt;&lt;code&gt;# 1. 文件名带内容哈希的静态资源（app.8f3d1a.js）：放心永久缓存
Cache-Control: public, max-age=31536000, immutable

# 2. HTML 入口页（index.html）：允许存副本，但每次打开先发条件请求对一下 ETag
Cache-Control: no-cache

# 3. 展示略旧一点也没关系的资讯列表：1 分钟内直接用，过期后后台异步刷新
Cache-Control: public, max-age=60, stale-while-revalidate=600&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;只要入口 HTML 不被错误设成长 &lt;code&gt;max-age&lt;/code&gt;，发版后最多一次 &lt;code&gt;304 Not Modified&lt;/code&gt; 往返就能切到新哈希资源，既省流量又不会卡旧版。&lt;/p&gt;</content>
  </entry>
  <entry>
    <title>用 pip-tools 锁定传递依赖与离线 wheel 目录安装备忘</title>
    <link href="https://clip.103105.xyz/2022/08/python-pip-tools-wheelhouse-offline.html"/>
    <id>https://clip.103105.xyz/2022/08/python-pip-tools-wheelhouse-offline.html</id>
    <updated>2022-08-21T16:33:09+08:00</updated>
    <content type="html">&lt;p&gt;直接拿 &lt;code&gt;pip freeze &amp;gt; requirements.txt&lt;/code&gt; 导出来的列表最大的问题是分不清哪些包是项目直接引的、哪些是被孙子依赖带进来的，过半年想删掉某个库时根本不敢动间接依赖。试了一周 &lt;code&gt;pip-tools&lt;/code&gt;，清爽很多：&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;# requirements.in 只写顶层依赖
# httpx&amp;gt;=0.23,&amp;lt;1.0
# pydantic&amp;gt;=1.9,&amp;lt;2.0

pip-compile --generate-hashes -o requirements.txt requirements.in

# 构建离线 wheel 包目录，部署机断网也能装
pip wheel --wheel-dir=./wheelhouse -r requirements.txt
pip install --no-index --find-links=./wheelhouse --require-hashes -r requirements.txt&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;注意编译带 C 扩展的包时，打包机与目标机的 Python 次版本号和 glibc 架构必须一致，否则 &lt;code&gt;--no-index&lt;/code&gt; 会报找不到匹配的 platform tag。&lt;/p&gt;</content>
  </entry>
  <entry>
    <title>Linux 内存去哪了：free -h、/proc/meminfo 与 slabtop 排查</title>
    <link href="https://clip.103105.xyz/2022/07/linux-memory-available-and-slabtop.html"/>
    <id>https://clip.103105.xyz/2022/07/linux-memory-available-and-slabtop.html</id>
    <updated>2022-07-09T22:10:55+08:00</updated>
    <content type="html">&lt;p&gt;小内存云主机跑上百天以后看 &lt;code&gt;free -m&lt;/code&gt;，&lt;code&gt;free&lt;/code&gt; 那列往往只剩几十兆，先看最右边的 &lt;code&gt;available&lt;/code&gt;。如果 &lt;code&gt;available&lt;/code&gt; 也掉下去了，但 &lt;code&gt;ps aux --sort=-%mem&lt;/code&gt; 把所有进程 RSS 加起来还差了一大截，通常要查两处：tmpfs（&lt;code&gt;/dev/shm&lt;/code&gt;、&lt;code&gt;/run&lt;/code&gt;）和内核 slab 缓存。&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;# 1. 看 tmpfs 有没有被临时文件塞满
df -h -t tmpfs

# 2. 查 /proc/meminfo 里的 Slab 拆分（SReclaimable vs SUnreclaim）
grep -E &#x27;^(Mem|Buffers|Cached|Shmem|Slab|SReclaim|SUnreclaim)&#x27; /proc/meminfo

# 3. 看具体是 dentry 还是 inode 缓存占大头
slabtop -o -s c | head -n 20&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;如果是海量小文件扫描攒出来的 &lt;code&gt;dentry&lt;/code&gt;（属于 &lt;code&gt;SReclaimable&lt;/code&gt;），内存真吃紧时内核自己会回收，没必要写定时任务去往 &lt;code&gt;/proc/sys/vm/drop_caches&lt;/code&gt; 里硬塞 &lt;code&gt;3&lt;/code&gt;——把热缓存清掉只会让下一波磁盘读延迟暴涨。&lt;/p&gt;</content>
  </entry>
</feed>
