知乎技术沙龙：自研大模型推理框架 ZhiLight 正式

12 月 7 日,知乎结合 DataFun 举行主题为《年夜模子利用工程化实际:从试验室到万万级用户产物》的技巧沙龙。知乎 AI 算法担任人王界武、呆板进修平台担任人王新、百川智能年夜言语模子资深算法专家王宇龙以及“提醒词传教师”李继刚带来年夜模子相干的专业分享跟深度交换,吸引来自 15 个行业、130 家企业参会者加入。知乎 CTO 孙斌在现场发布,知乎自研的轻量高效年夜模子推理框架 ZhiLight 正式开源。知乎直答与推理框架 ZhiLight:知乎减速年夜模子工程化实际2024 年知乎连续推动年夜模子工程化实际,于 6 月、10 月接踵推出知乎直答及其专业搜寻功效,聚焦专业人士的出产力场景,更是将 AI 搜寻推动到更具专业、适用性的深度搜寻才能拓展阶段。(知乎 AI 算法担任人王界武)在技巧沙龙上,知乎 AI 算法担任人王界武具体先容了知乎直答从 0 到 1 的搭建进程,偏重点分享了技巧计划选型跟「踩坑」阅历。据先容,知乎直答团队在构建AI问答体系时,对照了两种技巧道路:LLM 连续 pretrain+posttrain 以及检索加强天生(RAG)计划,终极后者在本钱、时效性、正确性、可扩大性等多维度胜出。当用户发问时,RAG 体系先从常识库检索相干信息作为高低文,再由年夜言语模子天生答复。团队经由过程在 Query 懂得、召回、年夜模子天生等多个环节深刻优化,明显下降了 AI 的幻觉成绩,使得谜底具有更高的正确性跟威望度。在专业搜寻功效侧,知乎直答团队应用了多种前沿技巧。不只实现了多智能体的协同任务,支撑信息查问、内容剖析、数学盘算等多种功效,还联合年夜言语模子强盛的推理才能,对用户的高低文跟发问停止深刻剖析,从多角度、多档次召回多样且高品质的内容。别的,知乎直答专业搜寻还在头脑链提醒词工程、智能文档剖析、静态资本调理等多个技巧模块实现冲破。王界武先容,下一步,知乎直答团队打算将产物与社区深度融会,满意更多场景下用户找谜底的需要,在正确性、时效性、交互形式等范畴实现更多进级。同时将进一步晋升模子的推理才能,使知乎直答具有更强的处理庞杂成绩才能跟应用休会。除了知乎直答,知乎自研的年夜模子推理框架 ZhiLight 也在本次运动上正式表态。知乎呆板进修平台担任人王新先容,知乎在多种型号的英伟达装备上安排了大批的年夜模子推理效劳,优良的开源名目 vLLM、SGLang 普遍利用于知乎外部。(知乎呆板进修平台担任人王新)与此同时,知乎也在摸索更低本钱、更具可扩大性的自研推理框架计划。2023 年开端,知乎与面壁智能配合开辟知海图年夜模子以及一系列年夜模子练习与推理工程架构。此中 ZhiLight 的计划目的是能够疾速安排与实际 LLaMa-like 模子。(ZhiLight 卡间通信优化后果)据先容,ZhiLight 现在兼容 OpenAI chat/completions 接口,监控指标上与 vLLM metrics对齐,便于一样平常应用及以及与 vLLM 等开源引擎的机能与稳固性对照。ZhiLight 的优化着重于 PCIe 卡间通信优化、内存治理以及并发恳求治理优化,同时还集成了 FlashAttention、Marlin、TensorRT、exllama 等开源名目。此中,ZhiLight 经由过程盘算与通信 overlap 、以及低精度通信等手腕,单层 Transformer 盘算时光下降了 40% 以上。(ZhiLight 引擎的机能表示)如上图,模子范围到达 70B 时,多卡推理受卡间通信影响更加显明,ZhiLight 在 TTFT 指标上要显明优于现在主流的开源推理引擎,而且在 110B 范围情形下 ZhiLight 的上风进一步扩展。(知乎 CTO 孙斌)最后,知乎 CTO 孙斌在现场发布,ZhiLight 曾经正式开源(https://github.com/zhihu/ZhiLight)。将来,知乎盼望与科技行业、技巧从业者一同共建开源开放的交换社区,并推进前沿技巧探讨从知乎线上延长到线下。Agent、AGI、Prompt……年夜模子技巧前瞻与畅想从  Agent 到 AGI 咱们另有多远?百川智能年夜言语模子资深算法专家王宇龙从一个摸索 Agent 极限试验开端,具体先容了为什么要构建 Agent。(百川智能年夜言语模子资深算法专家王宇龙)在他看来,基于 LLM 驱动的智能体相较于传统 Agent,应用了年夜型言语模子(LLM)的强盛才能,彻底转变了智能体的任务方法。这类智能体不只仅是实现单一义务的东西,它们可能在种种差别的义务之间切换,而且经由过程懂得天然言语来处理成绩,其中心才能能够被剖析为:计划、影象、东西应用。王宇龙还先容,以后 Agent 面对的重要成绩:缺少实践领导、架构百花齐放、思绪光怪陆离、后果错落不齐,并进一步先容了 Agent 跟 LLM 的底层细节。王宇龙以为,迷信之以是可能,是由于存在一些可盘算简化的地区,这些地区即便在广泛的弗成盘算简化之中也容许法则跟猜测的存在。人工智能有可能以新的方法发明并应用这些简化的地区。AI十分合适经由过程捕获数据中的法则来做出近似、「大抵准确」的猜测,这与人类头脑的方法类似。然而它在停止准确、具体的猜测时会碰到艰苦,特殊是在面临盘算弗成约性的时间。Prompt是什么?「提醒词传教师」李继刚在本次交换会分享了对于Prompt的道与术。他提出「Prompt = 表白」,而「表白 = 本意+辞意+解意」,并进一步论述了「本意 = 教训+词汇+常识」的观点,以及年夜模子与 Prompt 的关联:模子后果 =LLM*(Task+Promt)。(「提醒词传教师」李继刚)李继刚在会上分享了大批 Prompt 实战教训。他以为,客岁 Prompt 的要害词是从短到长,往年的要害词则是从长到短,但最实质的,仍是要与年夜模子实现「共振」。ChatGPT 崛起时,他跟良多人一样,给年夜模子写很长的 Prompt,但往年开端,他更习气把 Prompt 紧缩成一个词来开启年夜模子的解压进程。在他看来,用最清楚、简练的表白,指向中心实质,才是切中肯綮的最优解。李继刚以为,Prompt 工程师应当具有人文跟技巧两项基础本质,既要能写编程,要有感性数学的头脑,又要会写作,有理性表白的头脑。(知乎智能算法部担任人张亚峰)此次年夜模子技巧沙龙由知乎发动,结合 Datafun 举行,同时也是知乎系列技巧沙龙的第一场。知乎智能算法部担任人张亚峰表现,天天都有大批行业内对年夜模子感兴致的友人们在知乎探讨新技巧跟利用教训,咱们会持续把这些高品质的探讨延长到线下,构造一系列相似的高品质运动,将来知乎将进一步增强与科技行业、技巧从业者的交换联动,为互联网行业前沿技巧研发跟利用奉献力气。 　　申明：新浪网独家稿件，未经受权制止转载。 -->