
一句话看懂:斯坦福与ETH Zurich团队联合发布OpenTSLM——一种原生支持多变量时序数据输入的大语言模型架构,可直接对原始信号(如心电、加速度计)进行推理与问答。在多项医学与时序基准测试中,仅1B参数的OpenTSLM即超越GPT-4o,且显存消耗几乎不随信号长度增加。
事件核心:发生了什么
OpenTSLM论文(已被ICML 2025接收)提出两类时序-文本融合方案:SoftPrompt(将时序token挤入LLM输入序列)和Flamingo(使用交叉注意力让LLM查询紧凑时序表征)。后者解决了传统方法将信号序列化后作为文本token输入导致的二次方显存膨胀——OpenTSLM-Flamingo在输入更长的多变量信号时,显存占用近乎恒定。
测试涵盖时序问答、活动识别、睡眠分期和心电问答四个任务。OpenTSLM在全部任务上超越将数值序列化为文本、微调或使用GPT-4o图像方案等基线。由7位斯坦福医院心内科医师依据ACC/AHA能力指南和RIME框架对OpenTSLM/Llama3.2-3B模型输出的84条推理理由进行评审,97%被评为“正确”或“部分正确”。
论文同时开源全部代码、数据集与模型(基于Gemma3和Llama3.2的270M/1B/3B版本),可二阶段零样本用于医疗设备数据、可穿戴传感器、工业物联网等场景。
为什么重要
当前多模态大模型主要聚焦图文/音视频,时序信号处理依赖先降维(绘图、统计概括)、再输入白盒模型或微调专用模型。OpenTSLM首次展示了语言模型可直接以原始长序列信号作为原生模态推理,且跨模态注意力架构让计算可扩展到数十个不同采样率的并行信号流。这意味着“时序数据”在AI生态中的地位,可能从需单独训练小模型的附庸,升级为与文字并列的第一方输入接口。若该架构成熟,心率、加速度、振动波形将成为像“图像”一样能直接被LLM读取的模态。
对用户/开发者/创作者的影响
对于医疗AI开发者:可直接将心电图、连续血压、加速度计与病历文本一道输入同一个模型进行诊断问答,无需单独训练ECG分类器或预处理成数值文本。对可穿戴设备与IoT开发者:仅70–300MB的模型即可在边缘设备上对传感器信号进行开放域问答与异常检测。目前OpenTSLM已在GitHub开源,支持Hugging Face Transformers接口调用。对于非技术人员:该工具可实现“对一段心电图说人话”——你可以问“这段信号里有没有ST段抬高,指出位置”而得到自然语言回答。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
1)OpenTSLM-Flamingo架构是否会被主流推理框架(vLLM、TensorRT-LLM)原生支持,直接影响其部署成本;2)论文虽以医学信号验证,但架构不局限于生理信号——后续若扩展到工业时序(振动、功率),可能重塑预测性维护市场;3)开源模型是否会和闭源模型(如Google的时序能力集成进Gemini多模态)形成竞争,影响医疗与IoT行业的模型选型决策。


