分词工具：工具换数据源后历史曲线是否还能连接
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /6f84fa6d90ab.html
📄
分词工具：工具换数据源后历史曲线是否还能连接
能否连接，取决于历史曲线有没有保存“可重算的输入”。如果只存了分词工具输出的词频、词性比例或关键词得分，换数据源后旧点和新点通常只能并列展示，不能连成一条趋势线；如果保存了原始文本、词典版本、规则版本和参数，换源后可以在新口径下重算全部历史点，曲线才能继续。判断依据不是数据源新旧，而是旧结果能否被新口径解释。
先分清两种历史曲线：结果快照与可重算记录
结果快照指的是每次运行后只留下最终数字，例如某批文本切出多少词、每个词出现多少次、停用词过滤后剩多少。可重算记录则保留原始输入、词典、自定义词表、切分规则和参数。两者的差别在换源后会立刻暴露。
- 结果快照：新数据源接入后，旧点没有对应输入，无法用新口径复算。此时历史曲线只能作为参考背景，不能与新的点直接连线。
- 可重算记录：旧文本、旧词典和旧参数都在，换源后可以按同一规则重跑，得到统一口径下的新序列，历史曲线可以继续。
一个简化的假设例子：某站群把过去十二个月的标题交给分词工具，只保存了每月高频词列表。后来把数据源从站内标题换成站外问答标题，新旧高频词分布差异很大。此时若把旧点和新点画在同一张折线图上，看上去像趋势突变，实际是输入口径变了。若当初保存了全部原始标题和词典版本，就可以用同一套参数重算旧月份，再与新数据拼接，曲线才有可比性。
条件一：旧数据源仍可访问时，优先重算而不是拼接
如果旧数据源还能取到，最稳妥的动作是：先固定新口径，再回算全部历史区间。具体步骤可以这样安排。
- 确认旧数据源是否仍可访问，以及访问范围是否与当年一致。范围不一致时，重算结果仍会偏移。
- 记录当前分词工具使用的词典版本、自定义词表、停用词表和切分参数。
- 用同一套参数重跑旧区间，生成新序列，替换旧结果快照。
- 将新旧序列放在同一口径下比较，确认差异来自数据本身而不是工具配置。
这个动作的结果会直接影响下一步：如果重算后的旧区间与新数据能平滑衔接，说明口径已经统一，可以继续做趋势判断；如果重算后仍出现断点，需要先排查数据源覆盖范围、文本长度分布或编码差异，而不是急着解释业务变化。
条件二：旧数据源不可访问时，只能做分段标注
旧内容、旧系统或旧合作关系退出后，原始输入可能已经删除、迁移或权限收回。这种情况下，历史曲线不应强行连接。更合理的做法是保留旧曲线作为独立区段，并在图上明确标注数据源切换点、词典版本和参数差异。
此时可以做一个实际动作：为每个历史点补充元数据，包括数据来源、采集时间、分词工具版本、词典版本和过滤规则。这个动作不会让旧点变得可重算，但能让读者知道断点来自口径变化，而不是业务本身发生突变。下一步如果要继续观察趋势，应以切换后的新序列为基准重新积累，而不是把旧点当作同一口径的起点。
例外情况是，如果旧数据源虽然不可访问，但当时保存了完整原始文本的备份，只是入口关闭，那么仍可按条件一处理。判断关键是原始输入是否还在，而不是旧系统是否还在运行。
换源后必须检查的三个口径差异
即使原始输入还在，换数据源后仍有三类差异会让曲线看起来接不上。
- 文本长度分布：短标题和长正文的分词结果天然不同。旧源以短文本为主，新源以长文本为主时，词频和词种数都会变化。
- 领域词汇：旧源是站内内容，新源是问答或评论时，未登录词和口语词比例会上升，同一词典的切分效果会不同。
- 清洗规则：去重、去停用词、去标点的规则如果在新源上沿用旧设置，可能把新源里本来有意义的词过滤掉。
检查方法是：各取新旧源中一批可比样本，用同一套参数分别跑一次，比较词种数、高频词重合度和未登录词比例。如果重合度低，先调整词典和清洗规则，再决定是否把两段曲线合并展示。这一步的结果会决定后续是继续用旧词典，还是为新源单独维护一份词表。
给历史曲线留一条可回退的路
分词工具的输出一旦脱离原始输入和配置，就只剩参考价值。为了让以后换源时还能连接，建议在每次运行后保留三样东西：原始文本或可追溯的文本标识、当次使用的词典与规则版本、以及完整的参数记录。这样即使数据源更换，也能按同一口径重算，而不是面对一条断掉的曲线猜测原因。
如果旧记录已经只剩结果快照，也不必强行拼接。把断点标清楚，用新口径重新开始积累，比制造一条看似连续、实际口径混杂的曲线更可靠。
