传统的循环类模型对比较长的句子处理能力较差，这在翻译任务中是比较影响用户体验的。 之后，许多人都在魔改那一套网络，各种算子改来改去，这个小一点那个大一点，这里多一点那里少一点。”
“缝缝补补只有非常微小的提升。”
“而残差链接则是全新的思想，应用了这个技术之后，各种算子反而不需要那么花里胡哨，就统一使用相同的设置和配置，一样能够力压群雄。”
伊利亚总体来说还是支持这种革命式的改变的，只是大家都觉得合理的细微变化，自然就无法取得真正的突破。
“我先试试看，不知道好不好用。”伊利亚是非常讲数据和实验结果。
别说是他觉得这个思路有机会，就算是他本人觉得这玩意不靠谱。只要能有一套理论逻辑把它解释通顺，伊利亚都愿意实现它尝试一下看看效果。
“不过，纯注意力机制的t方法在早期有不小的缺陷，模型小了效果不好，数据少了效果不好，训练方式不对效果还是不好。”
看伊利亚和几个将信将疑的同事开始了尝试，孟繁岐心中清楚，他们恐怕是很难直接取得成功的。但这并不是方法本身的问题，而是诸多因素一起的限制。
“他们到时候不信，这倒也没什么关系，等英伟达的那批泰坦显卡到了，我给他们整个大的。”
语言模型，就是要大！相比现在流行的办法，只要模型做大，别的技巧就算不用那也是降维打击。
切到自己的工作这边来，文字合成语音，实际上和语音识别技术是一对孪生兄弟。
一个是从文本生成语音，让机器说话，另一个则是识别语音成为文本，让机器在比较熟悉的语言领域处理这些信息。
孟繁岐既然动了手，自然两兄弟都打包一起做了。
先做公司有任务的文字生成语音这一边，这个技术当然不仅仅只限于在翻译界面上进行简单的发音。
“文字生成语音的应用范围还是比较广泛的，比如谷歌刚刚收购的智能家居公司，其中就可以有各种语音助手，或者是有声读物，乃至于23年开始有些起色的AI歌手和AI主播这种泛娱乐方向。”