词库里有 10 万条音标是错的,我们是怎么修的
目录
做考试词表页的时候,我在四级表里看到一行:telegram,音标 'teli^ræm。
^ 不是音标符号。我以为是个别词条录错了,顺手查了一下同样的问题有多少。
结果是:生词捕快用的开源词库里,带音标的词条一共 21.8 万条,其中 10.5 万条有问题,将近一半。
更麻烦的是,这 10 万条里绝大多数,你盯着屏幕看也看不出错在哪。
先说词库从哪来
生词捕快查词时看到的中文释义和音标,来自开源词库 ECDICT;英文释义来自普林斯顿大学的 WordNet。两份都是开放许可,可以合法使用,出处写在数据来源与许可里。
ECDICT 是一个很好的项目,77 万词条,免费开放,我们受益很多。下面这些问题我猜是它在某次格式转换时坏掉的,不是谁故意录错。说出来不是挑毛病,是因为用它的人很多,大家都会碰到。
一共五种错。最后一种,是这篇文章第一版发出去之后才真正弄清楚的。
第一种:看不出来的错(10 万条)
ə 是音标里最常见的一个符号,读「呃」,about 开头那个音。
ECDICT 里的 ə,绝大多数其实是另一个字:西里尔字母 ә,哈萨克语、鞑靼语里用的那个。
这两个字长得一模一样。我把 abandon 的两种写法放在一起:
- 词库原样:
ә'bændәn - 标准音标:
ə'bændən
你看不出区别,我也看不出来。但在电脑看来,它们是两个完全不同的字。你从音标里复制 ə 去搜,搜不到;换一种字体显示,它可能长得不一样。
同类的还有两个:西里尔字母 є 和希腊字母 ε,冒充音标里的 ɛ(air 写成了 єә)。三种加起来,影响 100,576 条。
这一种修起来简单,一对一换回标准音标字符就行,不会有歧义。
第二种:^ 其实是 g(10,369 条)
这一种看得出来:
| 单词 | 词库原样 | 应该是 |
|---|---|---|
| telegram | 'teli^ræm |
'teliɡræm |
| rugby | 'rʌ^bi |
'rʌɡbi |
| exactly | i^'zæktli |
iɡ'zæktli |
看几个例子,很容易猜到 ^ 就是 g。但一万多条,我不想凭几个例子就动手。
验证的办法是对照拼写:如果 ^ 真是 g 的音,那一个词音标里 ^ 的个数,应该不超过拼写里字母 g 的个数。
全库核对下来,10,369 条里有 10,012 条符合,占 96.6%。剩下 357 条,我逐条核对了:
- 103 条是字母 x 读成 /ɡz/ 的词。上面表里的 exactly 就是一个,existing 也是。
- 247 条是一个词列了几种读音,g 音跟着重复出现。比如 glassman 写成
'^lɑ:smən;'^læs-,拼写只有一个 g,音标里有两个^,但两个都是 g 音。只看第一种读音,全都对得上。 - 3 条是汉语的旧式拼法,拼写是 K,读音是 g:Kweichow(贵州)、Kweilin(桂林)、kuan。
- 1 条是词头本身拼错了:alactostasis,应为 galactostasis,音标里的
^依然是 g。
真正说不通的只有 3 条:barrique、telepaque、dou,都是几乎没人查的生僻词,原本就是坏数据。
一万多条里只有 3 条说不通,这条规则才敢全库执行。
第三种:一串反斜杠其实是 ɜ(1,311 条)
quirky 词库原样 'kw\\\\:ki 应该是 'kwɜ:ki
ɜ: 是 bird、word 里那个长元音。词库里有 1,311 条把它写成了四个反斜杠。
验证办法类似:全库 1,348 处反斜杠,每一处都正好是四个连在一起,从来没有三个或五个的;其中 1,333 处紧跟着长音符号 :,正是 ɜ: 的写法。规律这么整齐,替换起来没有歧义。
第四种:坏到修不了的(96 条)
还有 96 条,音标里混着 (?@) 这样的东西:
carburetor kɑ:bə'retə(r); (?@) 'kɑ:rbəreitər
看得出来原本是两种读音,中间的标记坏了,猜不出原来是什么。
这 96 条我们选择不显示音标。没有音标,你会去听发音;显示一个错的,你可能就照着错的念了。
修的时候守的三条规矩
只修能证明的。 每条替换规则都先在整个词库上核对过一遍,有一条例外就不执行。第五种错里有一小部分判断不了,就没动。
一处改,处处生效。 修正规则只写一份。网页、小程序、浏览器插件查词时用它,考试词表页也用它。以后词库更新,重新生成一遍,结果一样。
已经查过的词也要改。 这一条最容易漏。你查过的词、收进生词本的词,音标早就存了一份在我们的数据库里,只换词库文件,它们不会自己变。所以我们把这些存着的记录也逐条更新了,并且只改音标这一项,释义、发音、你的笔记都不碰。在一份 1.5 万个常用词的测试数据里,一半以上的记录需要更新。
第五种:ʊ 坏成了 j(7,005 条)
这一种在本文第一版里写在「还没修好的」,而且性质和规模都被我说错了。现在已经修好,在这里重写。
最早注意到的是 goodwill,写成了 ^jd'wil。我当时以为是 u 被换成了 j,以为只出在第二、三种错集中的那批词条里,一共 1,787 条,常用词十几个。
逐个核对之后发现不是这样:
- 坏掉的是 ʊ(put、good 里那个短元音),不是 u。这批数据用的是 əʊ、aʊ 这种新式写法,里面的 ʊ 全变成了 j。
- 很多词条只坏了这一处,没有
^也没有反斜杠,所以之前没被发现。 - 全库一共 7,005 条,常用词和考试词有 85 个:
| 单词 | 词库原样 | 修正后 |
|---|---|---|
| okay | әj'kei |
əʊ'kei |
| particularly | pә'tikjjlәli |
pə'tikjʊləli |
| surroundings | sә'rajndiŋz |
sə'raʊndiŋz |
| goodwill | ^jd'wil |
ɡʊd'wil |
怎么判断哪个 j 是坏的。 英语里真正的 /j/,也就是 you、year 开头那个音,后面一定跟着元音。所以一个 j 后面不是元音,它就只能是坏掉的 ʊ。particularly 的 kjjl 正好两种都有:第一个 j 后面跟着 j,是真的 /j/;第二个 j 后面跟着 l,是 ʊ。
怎么证明。 这条规则我没有直接信。我拿卡内基梅隆大学的 CMU 发音词典(开源,只用来核对,不进产品)逐条对照:规则改动的 7,005 条里,CMU 也收录的有 642 条,每一条都核对「修完之后剩下的 j,够不够 CMU 里真 /j/ 的个数」。
第一次核对就抓出了规则自己的漏洞:yacht(jɒt)、year(jɜ:)这类词,j 后面的元音我没写进元音表,会被误改成 ʊ。补上之后再核对,642 条里没有一条改错。被标记出来的 4 条,逐条看都是两本词典写法不同。比如 hotelier,CMU 把 -lier 里的音记成 /j/,ECDICT 写成 i。
剩下判断不了的。 j 夹在两个元音中间时,这条规则就不灵了:knowingly 写成 'nәjiŋli,这个 j 是坏掉的 ʊ;Himalayan 写成 hi'mɒlәjәn,这个 j 却可能是真的。这种情况全库约 520 条。其中常用词和考试词只有 4 个:knowingly、high-powered、jingoism、willowy,我们逐个对照 CMU 人工改了。其余都是生僻词,暂时保持原样。
对学英语的你有什么用
在别的工具里看到 ^,就读成 g;看到 j 后面直接跟辅音,就读成 ʊ。 很多免费词典、背词软件用的是同一份开源数据,你多半也见过 'teli^ræm、әj'kei 这样的音标。
这份词库的音标是老式写法,不是错。 比如 home 写成 həum,不是现在常见的 həʊm;make 写成 meik,不是 meɪk。符号体系旧一点,读音是对的。
音标拿不准,就听发音。 生词捕快查词时有真人发音,没有真人录音的词用机器朗读。音标和耳朵听到的对不上,以耳朵为准,再回来看是哪里不一样。
词库大,不等于词库准。 免费词库动辄几十万词条,但条数说明不了质量。备考的关键词,查到的释义和音标值得多核对一下。我们这次也是做到考试词表这一步,才发现这批问题。
更正说明
本文第一版有三处错误,已在正文里改正:
- 把第五种错的性质和规模说错了。 第一版写的是「u 被换成了 j,1,787 条,常用词十几个,还没修」。实际坏掉的是 ʊ,一共 7,005 条,常用词和考试词 85 个,现在已经修好。
- 把 yogurt 列成了这种错的例子。 它的 j 是真的,yogurt 本来就读 /ˈjɒɡət/,是我列错了。
- 第二种错的核对细分写错了一处。 loglog 被重复计算,同时漏掉了 alactostasis。总数和结论不变。
一篇讲「数据要核对」的文章,自己的数字也得经得起核对。