泡泡资讯网

1我懂中文,懂日文,也懂英文,而且我就是一个炭基神经网络。我并不真正敢说自己懂模

1我懂中文,懂日文,也懂英文,而且我就是一个炭基神经网络。

我并不真正敢说自己懂模型,但是我清楚我的学习过程,无论中文,日文,英文,学习难度是一码事,从所有这些语言的数据中,获取新的知识是另一码事。

2而《Scaling Laws, Honestly》这篇文章指出的问题是,针对模型规模,训练模型的数据严重不足。

从一方面理解,这是加速算力基建的一个利空。但是从另一方面理解,我们已经有了更大的规模,那么更多的高质量数据,能继续推升模型能力。

3进而另外一个评论和文献指出,英文也有英文的问题,“英语在形态学上非常贫乏,是我测试的 12 种语言中效率最低的语言之一。” 因此训练效率不高。

所以,其实如果你对任何语言,都没有歧视的话。。。

那么超脱语言关注有价值的信息密度数据的答案呼之欲出。

4对于模型各国语言的训练效率,其实无关紧要。要紧的是更多的有价值的训练数据。

因此,不但应该像 open ai 和 Claude 那样疯狂的爬取和收集中文数据,而且什么法文,日文的,都应该弄到一起。

然后,通过一个哪怕效率不高的训练过程,让模型学会阅读所有数据,然后做一个包含所有语言的,经过清洗的数据集合。

这个集合最大限度的包含人类已知的,可以用语言表达的,背后的所有知识,用来以一个更合理的 数据 vs 模型规模的比例,训练能力更强的模型。

5因此,所有搞任何语言歧视的,都应该出来道歉。

这些人膝盖有问题,大脑也有问题。