虽然两人城府极深,在外表上没什么变化,视界面板却不会骗人。
贾教授说这话的时候,语气里也透着一丝欣喜。
他当然既不认为,也不希望自己的学生会去造假。
但是训练大模型这个事,确实不是谁都能做好的,更何况是做到世界第一。
由于几年前开始华盛顿那边发起的算力管制,现在国内的模型训练往往卡在算力不够这个瓶颈上。这个问题对厂商、对高校来说都现实存在。
就拿贾教授自己来说,交大已经是全国顶尖的大学了,可是实验室里也只有几百张英伟达的训练卡,做做小参数的大模型还可能,做超大模型,没戏。
现如今韩路一能做出这个模型,别的不说,肯定在显卡的使用效率上有提升。
不过这是人家的商业机密,贾教授也没有开口问。
贾教授回到座位坐下,韩路一调出幻灯片来继续讲解。
“汤圆是我们自研的通用模型,底层训练框架由源智科技内部团队维护。预训练使用的是我们自建数据管线处理后的中英文混合语料,后训练则主要来自源智团队自己整理和标注的数据。”
许处长微微点头,刘副处长则一直在观察韩路一的表情。
他今天来的身份比较微妙,最重要的任务是配合许处长判断,这个公司是不是要上报到上级部门来对接。
韩路一接着说道:“算力部分,我们训练期间和鼎盛云服务达成合作,使用了他们提供的算力。在训练完成后,现在的推理算力都部署在张家口云垠数据中心。”
陈副区长听到这里,忍不住插了一句。
“怎么在张家口?”
这是他作为区领导的本能反应。
这么重要的企业,核心资源如果不在海城,后续怎么服务,怎么统计,怎么形成产业链?
韩路一一时不知怎么回答,张家口的电便宜,还有配套啊,但他还是开口道:“那边只是数据中心,我们的研发和产品化还是在海城进行。”
陈副区长也反应过来,笑了笑:“韩总,我不是这个意思,企业根据业务需要全国配置资源很正常,但是临港这边也有数据中心的项目,我们会后对接一下。”
好企业,不怕你要资源,就怕你不要。
不要就是要跑了。
许处长看陈副区长这边问完了,抛出最后一个问题:“韩总,技术文档我们拿回去再详细看看。今天时间有限,能不能先现场演示一下?”
这是又回到韩路一一开始的提议了,现场演示。
“当然,我先给大家展示一下演示环境。”韩路一说道,“现在这个界面连接的是我们内部推理服务,就部署在我刚才说的位于张家口的数据中心。所有的数据都是加密的,不会流出。”
浏览器打开,还是那个简洁的聊天框,写着模型型号,汤圆-0.9,还有汤圆的LOGO。
“各位可以现场出题,只要是合法合规的。”韩路一说道。
这是他第二次强调了。
AI工具,和其他的互联网内容一样,能不能做到合法合规是政府很看重的因素。
事实上,在安全对齐方面韩路一确实是花了大力气的。不只是因为政府的合规要求。韩路一自己也意识到这种酷似真人的聊天助手可以对人带来多大的影响。
习惯了听取AI的建议,你可能不自觉就被AI影响了。
所以汤圆的道德标准可能比一般的AI还要更高一些,也更克制一些。
贾教授先出了一道题。
他从随身的包里拿出一张纸,是他提前准备好的题目,递给了韩路一。
韩路一拿过来一看,挑了挑眉。
是当年期末考试的那种感觉没错了。
是一个计算机系统设计问题,要求模型设计一个任务调度系统,支持多租户优先级、资源配额、失败重试、幂等执行,并给出关键数据结构和并发控制方案。
比起普通的算法或者代码题,这种系统设计问题更考察一个人的抽象思考能力和大局观,即使在真正程序员的面试中,也是只会出现在资深程序员的面试环节中。
甚至,这个问题在真实的AI训练场景、云计算调度中也是相关的。
不愧是贾老师,出的题还是这么难度在线。
换成一般的大模型,这种题要么是说一堆正确空洞的废话,要么很容易跑偏设计方向。
不过汤圆确实在这方面是进行过特化训练的,因为汤圆要支持的第一个场景就是御风的调用,也是经常会遇到系统设计的问题。
韩路一拿出手机拍了张照片,把照片传到了汤圆上,汤圆开始思考。
许处长突然出言问了个问题:“韩总,前两天OpenAI公布的那个多模态模型,可以处理视频音频的,和这个是一样的东西吗?”
韩路一解答道:“许处长,你的观察很敏锐。汤圆不是一个多模态模型,虽然我们也希望在下一步探索这个方向。多模态模型可以原生的处理其他形式的输入,例如声音、图像、视频。但是汤圆现在读图的原理是,先把图片转化成文字描述,然后再进行处理,生成回复。”
许处长点点头,没有追问。
很快,汤圆开始输出。
会议室里所有人的视线都落在大屏幕上。
【该系统的核心是“资源约束下的公平调度”。需要同时解决四个问题:租户隔离、优先级抢占、失败语义、幂等边界。】
紧接着开始输出各种技术实现的细节。
贾教授聚精会神地看着答案,几位领导则看着贾教授。
看了一会,贾教授转过头,追加了一个问题:“如果任务执行时间不可预测,部分任务会长时间占用GPU资源,怎么避免短任务永远排不到?”
这个问题韩路一当然知道答案,但他知道这个问题问的是汤圆。
他把问题输入对话框。
回车。
【短任务排不到,主要由于资源碎片和租约不可中断等问题,最快的解决方案是:为短任务保留小额资源池】
许处长本人也是技术出身,对这个答案是认同的,但他还是转头问了问贾教授:“贾教授,您看这个水平怎么样?”
贾教授挤了挤一直盯着屏幕,有点儿疲劳的眼睛,说道:“不错,一般的AI做不到这种程度,比我手底下的研究生还强点儿。”
这时,陈副区长开口了:“我能不能出一道?”
这种场合,没有人会说不能。
韩路一赶紧请陈副区长出题。
陈副区长开口了:“我们下个星期有个座谈会,我就把主题给它,让他写个发言稿看看吧。”
文字处理,确实是大模型一开始的用法,但是要说能写出政府发言稿来,那就有点儿小瞧秘书处了。
陈副区长口述了座谈会的主题,韩路一转述给汤圆,输入对话框,回车。
几十秒后,一份结构完整的发言稿出现在屏幕上。开头有背景,中间有数据,结尾有展望,格式规范,语气也是典型的政府风格
有点儿东西啊。
陈副区长看完,沉默了片刻。
“这个……写得确实不错。”
他顿了顿,补充道:“当然,具体用不用还要秘书处再润色。”
这句话让旁边的刘副处长嘴角动了动,没出声。
会议室里的气氛已经很松弛了。
许处长看了看时间,用眼神和陈副区长对了对,得到肯定的神色之后,才合上笔记本,站起身。
“韩总,苏总,今天收获很大,谢谢你们的时间和配合。”他说道,“材料我们拿回去,内部评估一下,后续再联系。”
“许处随时过来。”苏念念回道。
许处长点了点头,和陈副区长交换了个眼神。
显然,后续怎么跟进,两人心里已经有了答案,只是不适合在这个场合说出来。
这些当然都瞒不过视界的观察。
陈副区长也站起来,主动和韩路一握手。
“韩总,浦东这边有什么能帮上的,随时来找我,不用客气。”他说,“像你这种优秀企业,资源上有什么需求,直接和我说,我们尽量配合,这是我们的工作。”
“多谢陈区长。”
刘副处长也客气了几句,大意和许处长一样,没加新信息。
一行人一起把领导们一路送上车,贾教授走慢了两步,上车之前说了句话。
“韩路一,苏念念,干的不错。”贾教授说,“有时间回学校来看看,给学弟学妹们传授一下经验。”
韩路一答应下来,把老师送走了。
……
回到办公室,韩路一和苏念念找了个沙发坐下来。
“今天这一趟,你怎么看?”苏念念先开口。
“对我印象不错。”韩路一说,“总体上是支持的,但是要一级一级的上报,也不知道能给什么支持。”
苏念念看了看韩路一的侧脸:“我说了,他们不会失望的。”
然后她突然换了话题:“没想到贾老师会来,看他出题,我还有点儿害怕。”
“哈哈,没事,汤圆答不出来,我也能答出来。”韩路一开了个玩笑,又把话题拉回了工作:“陈副区长那边好像更热情一下,可以先从他那要资源啊,区里的决策链短。”
苏念念在手机备忘录里记了几行,抬起头:“我让沈丛云整理一份对接备忘,你这边……”
韩路一的手机震动了起来。
他拿出来看了一眼屏幕。
陆正平。
战新引导基金的陆正平。
韩路一怔了一下。
“你先忙。”他站起身,“我接个电话。”
苏念念看了他一眼,没问。
韩路一走到走廊里,接通电话。
“陆总。”
第二百五十四章 野生的政商关系顾问
“韩总,恭喜啊!”
陆正平的声音从电话那边传过来,中气十足,十分热情。
“这两天忙坏了吧?你做的那个汤圆,名声太大了,我们圈子里也都在讨论。”
“消息传得太快了,谢谢您的关注。”
韩路一一边道谢,一边猜测陆正平来电的意思。
自从上次去他办公室见过之后,两人再没有什么商业上的交集。韩路一过年过节的时候发了几条信息,陆正平也客气的回复了,仅此而已。