作者要不要自己建语料库?先搞清它能干什么
搜「网文写作资料」,排在前面的多是技巧文章。但往 GitHub 翻一层,你会看到另一类东西:体量以 TB 计的中文语料库、按题材切好的小说全集、从公版书里抽出的对话语料。
这些资源对写网文的人有用吗?先说结论:有用,但用处和你以为的不一样。
一、先看清这些东西有多大
| 项目 | 体量 | 是什么 |
|---|---|---|
| MNBVC | 已收 62TB | 中文互联网语料集,含小说、台词、古诗词、歌词、帖子、论文 |
| chatgpt-corpus | 约 550 万条 | ChatGPT 生成的中文语料,含 300 万问答与成批小说、大纲 |
| 4675-scifi | 4675 部 | 科幻小说全文 |
| novel_corpus | 若干公版书 | 从公版小说抽出的多轮对话 |
| funNLP | 上千条 | 中文 NLP 的词表与资源索引 |
看到 62TB 这个数字,很多人的第一反应是「那是不是可以自己训练一个写小说的模型」。这条路,别人已经替你走过一遍,并且失败了。
GitHub 上有个叫 AI-Writer 的项目,拿了三千多颗星,是「中文网文专用小模型」最早也最出名的一次公开尝试。它用 RWKV 架构在网文上做了预训练,出了 1.5B、3B、7B 三个规格。今天你打开它的仓库,第一行写的是:
下面都是过时的模型,仅供参考。
星数还在,模型已经没人用了。不是作者不努力,是通用大模型的进步太快——你花半年训一个,半年后通用模型已经免费做得更好。所以对个人作者,「训模型」这条路可以直接划掉。
二、语料库真正能帮到你的三件事
划掉训模型,剩下三件事是实在的。
第一件:统计题材用语,别凭感觉写
「科幻该用什么词」「女频该有什么称呼」,这类问题靠印象答不准。但单题材语料的价值在于可比——同一题材几百上千本摆在一起,什么词高频、什么桥段扎堆,一眼看得见。
这跟「扫榜拆文」是同一件事,只是从「拆一本」升级到「统计一千本」。拆一本给你一个样本,统计一千本给你一条基线。知道基线在哪,你才知道自己是在基线内还是基线外。
第二件:建一条「AI 味基线」
这是语料库最容易被忽略、也最有用的用法。
判断一段文字有没有 AI 味,靠的不该是「读起来怪不怪」,而该是跟真人写作的实际数据比。你手里有几百部真人写的小说,就能算出:真人写对话时平均句长多少、一段里逗号用几个、连续相似句出现的频率多高。
有了这条基线,再去比 AI 生成的文字,「AI 味」就从感觉变成了偏差量。本站的 AI 味检测器做的是同类判断,只不过用的是词表和句式规则;有了语料,你可以把规则升级成统计。
第三件:找出自己的口头禅
把你自己写过的稿子凑成一个小语料集(十万字就够),跑一遍词频。
你会看到一批自己完全没意识到的口头禅:某个词一章用八次、某个句式反复出现、某个动作描写只有一种写法。这类毛病自己读是读不出来的——因为读的时候你在理解意思,不是在数词。
三、一个必须避开的坑:版权
这是语料库这条路上最硬的红线,而且写这些项目的人自己最清楚。
MNBVC 的说明里写着:本项目不做版权审核,也不提供索引和分类,并恳请使用者克制分享欲、低调使用。一个收了几十 TB 数据的团队尚且这样写,个人作者更要想清楚。
再看那个对话语料项目,作者留了一句:为了规避版权风险,开源的数据集仅包括公版书籍。
一句解释,一条界线。对你的意义是:
- 可以做的:拿语料做统计、做词频、算基线——这类分析不产出可识别的原文片段。
- 不要做的:整段抄进自己的稿子;拿未授权作品训模型再商用;把语料重新打包分发。
公版书是个例外。经典公版作品(《小王子》《傲慢与偏见》一类)版权已过保护期,可以放心当练笔素材——所以那个对话语料项目只收公版书,不是偷懒,是清醒。
四、个人作者最省力的做法
不必下载 62TB,也不必配环境。按下面三步走,一个下午能出结果:
- 素材:挑二十到三十本你目标题材的公开作品(公版书优先,或你自己买来的电子书仅作本地分析),转成纯文本。
- 统计:用任意脚本跑词频、句长、标点分布。不用写代码也行——现成的中文分词工具与词表,NLP 资源库里都能找到现成的。
- 对比:把统计结果跟 AI 生成的一章放在一起比,看差值在哪、差多少。
关键提醒:统计结果只当参照,不当标准。真人写作的平均值里也包含大量平庸作品——你要找的是「差得太远的地方」,不是「跟平均值一模一样」。写作不是回归均值。
五、一句话总结
语料库对作者的价值,不在「能生成什么」,在「能看见什么」——看见题材的用语惯性,看见真人与 AI 的数据差,看见自己的口头禅。
至于训练模型,那是一座已经被人翻过、且被证明不值得翻的山。省下这个力气,去写你的下一章。