午九点。
陆方没有回家。他在技术部通宵了。他按照论文的方法,用开源模型LLaMA-7B,在星海的数据集上做微调。第一次跑,显存不够。他换了一个更小的模型,跑通了。准确率不高,只有70%。他调整了参数,再跑,75%。再调,80%。再调,83%。到上午九点,准确率稳定在85%左右。和星海的大模型模块持平。但他用的是开源模型,成本只有原来的十分之一。
他兴奋地给陈曦发消息:“陈曦,我跑通了。准确率85%。”
陈曦回复:“恭喜!再试试更大一点的模型?7B不行,就13B。我用13B跑过,准确率能到90%。”
陆方:“13B需要更大的显存。我没有。”
陈曦:“用云服务。按需付费,不贵。”
陆方:“我试试。”
他注册了一个云服务账号,租了一台带A100显卡的服务器。按小时计费,一小时十几块钱。他把模型上传,开始训练。这次跑得慢,等了两个小时。准确率出来,89%。离90%还差一点。他调整了学习率,再跑,90.5%。他靠在椅背上,长出一口气。
他给陈曦发消息:“到了。90.5%。”
陈曦:“厉害!”
陆方:“是你教的好。”
陈曦:“我只是指了条路。路是你自己走的。”
陆方笑了。他想起2019年,陈曦第一次来公司,画了那张产业链图谱。那时候,她才11岁。现在,她在伯克利,教他做模型。时间过得真快。
2024年3月18日,星期一,上午九点。
技术部晨会。陆方站在白板前,手里拿着马克笔。周寻坐在台下,面前是一杯热咖啡。
“上周,我用开源模型在星海的数据集上做了微调。准确率达到90.5%,和星海的大模型模块持平,成本只有原来的十分之一。”他在白板上写了几个数字:成本降低90%,准确率90.5%。
“下一步,我计划把开源模型正式接入星海平台,替换掉现有的大模型模块。成本更低,效果更好,而且我们自己可以控制模型,不用依赖外部API。”
周寻举手。“那现有的大模型模块怎么办?”
陆方想了想。“保留。两个模型并行跑,结果交叉验证。哪个准,用哪个。”
周寻点头。“可以。”
陈默站在门口,听着陆方的汇报,没有进去。他转身走回办公
本章未完,请点击"下一页"继续阅读! 第3页 / 共6页
