面向智能生化实验室的机器人感知、规划与控制技术

机器人大讲堂 2025-10-03 12:00

作者:张辉,李康,刘立柱

来源:《自动化学报》

编辑:陈萍萍的公主@一点人工一点智能

原文:https://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240714


摘要:生物制药在保障国计民生和国家安全方面发挥着至关重要的作用,加快机器人技术、人工智能与生物医学的深度融合,对于提升新药研发效率、应对公共卫生危机具有重要意义。在生化实验室中,随着新药制备流程日益复杂,机器人技术在高精度液体处理、样品分析和实验自动化等关键操作中发挥着至关重要的作用。然而,现有机器人技术在环境感知、协同工作以及动态适应能力等方面仍存在局限性。


近年来,深度学习、跨模态感知和大模型等领域的快速发展,使得机器人在复杂生化实验室场景中的应用前景愈加广阔。本文从智能生化实验室的具体需求出发,重点探讨机器人在环境感知、任务与运动规划以及协同控制等关键技术方面的最新进展。


随后,列举在智能生化实验室领域的国内外应用案例,深入分析机器人技术在实验室环境中的实际应用现状。最后,总结智能生化实验室的技术发展趋势及面临的挑战,为未来研究方向提供参考.




引言


保障人民生命健康不仅是重要的民生问题,也是关乎国家繁荣稳定的公共社会问题,是民族昌盛和国家强盛的重要标志。我国《“十四五”生物经济与医药工业发展规划》提出:“重点围绕药品、疫苗、先进诊疗技术和装备、生物医用材料等方向,提升原始创新能力。以新一代信息技术赋能医药研发,探索人工智能、云计算、大数据等技术在研发领域的应用,通过对生物学数据挖掘分析、模拟计算,提升新靶点和新药物的发现效率,缩短研发周期、降低研发成本”。在此关键时期,促进生物医药专业知识、人工智能与机器人技术的有机融合至关重要。


生化实验室在科学研究和医学领域扮演着至关重要的角色,其通过揭示生命物质运行机理,为新药研发、生物材料等领域提供新的可能。然而,目前大多数生化实验室在新药研发、目标化合物高通量筛选和药物配制生产等过程中,仍以人工作业方式为主,导致人力、时间和试错成本较高。其次,在无菌化新药研制过程中,由于灭活不彻底导致病菌存在传染性、作业人员长期与病菌接触等因素,作业人员面临较高的感染风险。这些挑战不仅降低了新药研发效率,而且使得新药的质量和安全性难以得到有效保证。


智能机器人技术为解决这些问题挑战提供一种有效的解决方案。智能机器人具备重复作业、操作精准以及效率高等优点,能够确保稳定、安全和高通量的生产作业。在新药研发领域,智能机器人展现出广泛的发展前景。例如,智能机器人可以通过自动化液体处理和样本操作,实现高通量筛选,从而快速筛选出具有潜在活性的化合物。此外,人工智能技术的快速发展[1]为机器人技术注入新的动力。例如,OpenAI公司开发的视觉语言大模型CLIP[2]和大语言模型ChatGPT[3-4],为智能机器人提供了更加坚实的智能基础。强大的视觉模型增强了机器人在复杂生化实验室场景中的识别能力,而大语言模型则提升了机器人在复杂实验流程下的推理能力。


因此,本文聚焦于智能生化实验室中机器人感知作业、任务规划与协作控制等关键技术,通过系统地回顾和分析现有研究,总结这些技术在生化实验室中的应用潜力和发展趋势,并探讨其在提升实验效率和安全性方面的作用。文章总体框架如图1所示。


面向智能生化实验室的机器人感知、规划与控制技术图1

图1 文章总体框架




1 生化实验室概述


生化实验室的发展历程大致可分为四个阶段:人工操作阶段、初期自动化阶段、综合自动化阶段和智能化阶段。如图2所示,早期的生化实验室主要依赖人工操作,缺乏自动化和智能化技术的支持,因而表现出操作效率低下且易于产生人为误差的局限性[5]。


随着技术的发展,初期自动化阶段通过机械设备实现了基本的自动化操作,虽然较人工操作效率有所提升,但系统的灵活性和适应性仍显不足,难以应对复杂的实验场景。早期的自动化实验室可追溯至Zymark公司开发的单臂化学家系统[6]。


在综合自动化阶段,借助人工智能算法,实验室的自动化能力进一步增强,特别是在多实验变量条件下,机器人的决策能力得到显著提升。以英国利物浦大学Cooper团队为例,他们在2020年通过将Kuka移动机器人与人工智能技术相结合,有效推动了新型光催化剂研究的高效实验[7]。


进入智能化阶段,随着大模型技术的蓬勃发展,实验室机器人获得了更强的推理与决策能力[8],能够在复杂的实验环境中自主理解任务要求并做出高效决策。与前几个阶段相比,智能化技术的应用显著提高了实验作业的效率和精准度,推动了实验室整体智能化水平的跃升。例如,瑞士人工化学智能实验室(LIAC)开发的ChemCrow模型在自动合成平台上运行,使得机器人能够掌握化学专业知识,独立完成驱虫剂和有机催化剂的合成任务[9]。这种技术的结合不仅提升了合成过程的自动化程度,也为复杂实验的实现奠定了基础。


面向智能生化实验室的机器人感知、规划与控制技术图2

图2 生化实验室发展历程


综上所述,生化实验室的发展历程已从早期的人工操作逐步演变为单一自动化,进而迈向具备多功能的智能化阶段。随着技术的不断进步,当前的实验室初步实现了自动化与智能化的深度融合,但在应对多样化的实验需求时,单一机器人的操作模式仍显局限。基于现有技术,多机器人协同操作的应用为实验室的高效管理和动态适应性提供了新的解决方案,尤其在面对复杂实验任务时,协同技术的优势愈加明显。


引入多种类型的机器人进行协同作业,使得各类实验设备能够在同一流程中各司其职、相互配合,从而更灵活地满足实验需求。这种协同应用不仅显著提升了实验的效率和精准度,更标志着未来智能生化实验室在高度自动化和灵活智能化方向的发展趋势,为现代科学研究开辟了新的发展路径。


2 智能生化实验室机器人关键技术


智能生化实验室通过深度融合人工智能与机器人技术,实现了实验流程的高效化、精确化和智能化[10]。这一进步不仅显著提升了实验效率,减少了人为操作中的误差,还为科学研究的加速和创新提供了新的可能性。由于生化实验流程的高度复杂性和动态性,环境感知技术在这一背景下扮演着至关重要的角色。


通过实时获取和处理实验室内的环境信息,机器人能够精确识别并理解实验场景中的动态变化,确保其操作的安全性和精准性。视觉感知技术不仅为实验环境中的目标识别、对象定位等任务提供了基础支持,还与运动规划技术形成了密切的协同效应。


通过整合视觉感知信息,机器人能够更加灵活和精准地规划其运动轨迹,从而应对实验过程中多任务并行及突发状况的挑战。视觉感知与运动规划的结合,使得机器人在复杂实验环境中的任务执行更加高效和鲁棒。


此外,视觉感知技术与控制系统的互动也在动态实验场景中起到了关键作用。机器人依赖视觉反馈,在实验环境发生变化时能够及时调整操作策略,确保各类操作的精度和稳定性。为便于读者更好地理解文中提到的相关技术和术语,表1提供了一些关键术语的解释和说明。


表1 术语解释

面向智能生化实验室的机器人感知、规划与控制技术图3


在图3中,清晰展现了视觉感知技术与运动规划及控制技术的多层次交互协同。正是这种技术的深度融合,使得机器人能够应对复杂的实验任务,并具备在动态环境下实时调整的能力,从而满足高精度和多任务处理的需求。这种协作不仅优化了单一机器人的任务执行能力,也提升了整个实验系统的智能化水平,使其在未来的生化实验中具备更高的适应性和可操作性。


面向智能生化实验室的机器人感知、规划与控制技术图4

图3 生化实验室机器人关键技术


2.1 机器人环境感知关键技术


在智能生化实验室的背景下,感知与作业通常紧密结合。感知(Perception)指机器人通过视觉、声音、触觉等多模态信息理解和解读环境,而作业(Operation)则是基于这些感知信息执行具体任务的过程[11]。


机器人在生化实验室中的感知关键内容主要包括:实验器具和试剂的识别与定位,如试管、移液器、培养皿等器具的精确位置与姿态,以及试剂容器的状态;操作对象的精细特征感知,包括试剂的液面高度、物体表面的特性等;物体之间的空间关系与交互,如多个实验器具或样本之间的距离、相对位置和相互作用。


根据感知层次的划分,机器人感知分为三个主要层次:


第一个层次为目标识别,机器人需要识别实验器具和其他关键对象;

第二个层次为对象关系识别,涉及物体之间的空间关系和相互作用;

第三个层次为区域关系识别,确保机器人能够理解多个区域内的环境结构和关系。


因此,本文在环境感知关键技术部分重点探讨三方面内容:单模态数据位姿估计、多模态数据融合和大模型推理。


位姿估计技术为第一层次的目标识别提供支持,帮助作业机器人准确定位实验器具和操作对象的位置与姿态。


多模态数据融合则结合视觉、触觉等多种传感器数据,进一步提升目标识别的准确性。

大模型推理技术的应用主要体现在开放词汇三维物体识别、开放词汇语义分割以及开放词汇三维场景图的构建,能够扩展机器人在动态、复杂环境中的认知范围,使其在应对多样化实验场景时更加灵活、精准。


2.1.1 基于单模态数据的环境感知技术


在生化实验室场景中,智能机器人需要操作多种作业对象,例如培养箱、移液枪、试管架等,能够准确感知到作业对象的位姿信息(即物体在三维空间中的位置以及绕x,y,z轴的旋转)对机器人的精准操作至关重要,如图4所示。本节重点阐述视觉、雷达以及触觉传感器的应用技术。


面向智能生化实验室的机器人感知、规划与控制技术图5

图4 生化实验室部分操作对象位姿估计示意图[12]


视觉传感器是位姿估计的主流技术,其方法体系主要分为基于图像特征的传统方法、基于模板匹配的几何方法以及基于深度学习的智能方法。早期技术[13]通过少量物体视图组合进行三维识别,但在复杂和动态环境下表现较差。


为克服这一局限,基于图像特征的方法(Feature-based)如SIFT算法[14]和PnP算法[15]的结合得到广泛应用,该方法通过提取图像关键点并与三维模型匹配,利用PnP算法计算相机位姿[16-17]。


基于模板匹配的方法(Template-based)增强了低纹理物体的处理能力,通过建立模板库、计算图像相似度以及匹配最佳位姿实现目标检测[18]。Hinterstoisser等[19]改进了这一方法以实现弱纹理物体的实时检测。然而,模板匹配依赖于预先建立的模板库,适应性和泛化性较差。


近年来,基于深度学习的方法显著提升了6-D位姿估计的精度和鲁棒性,主要分为实例级和类级[20]。实例级方法如PoseCNN[21]通过卷积神经网络从RGB-D图像中计算物体位姿,HFF6D[22]则通过预测视频中相邻帧的物体相对位姿提高复杂场景中的实时性。


类级方法无需针对具体物体建模,泛化能力更强。例如,NOCS[23]通过统一坐标空间表征同类物体,DenseFusion[24]结合RGB和深度特征,提升了估计精度。Liu等[20]通过对比学习[25]和数据增强[26]技术训练模型,提高了新物体的泛化能力,为智能生化实验室中视觉引导机器人抓取提供了新的解决方案。


此外,针对形变物体的特殊挑战,近年来提出了一些创新性框架。例如,Ren等[27]提出一种针对形变物体操作的类级框架,该框架通过标准化物体状态和学习类级特征,大幅减少了训练数据需求,同时能够高效泛化到新实例。该方法克服了传统方法在形变物体操作中泛化能力不足的问题,为类级方法的应用拓展提供了新的可能性。


除了视觉传感器外,激光雷达(LiDAR)在位姿估计中同样展现了独特优势。激光雷达通过发射激光并测量其返回时间,生成高精度的三维点云数据,点云数据反映了环境中物体的几何形状和相对位置。与视觉传感器不同,激光雷达不依赖光学纹理或环境照明,因此在低光照、遮挡以及透明或反射表面等复杂场景中表现更为出色[28]。


基于激光雷达数据的位姿估计方法主要分为基于几何和特征的方法以及基于深度学习的方法。基于几何和特征的方法利用点云中的几何特性,例如边缘、角点或其他显著的特征,通过模板匹配、优化算法或几何推导完成位姿估计。例如,文献[29]提出一种基于激光雷达的目标位姿估计系统,通过提取点云的几何特征并结合三维模板匹配实现初始位姿获取,利用迭代最近点(ICP)算法进行高效位姿估计与跟踪,尤其适用于稀疏点云和大范围姿态变化的复杂场景。


而另一种特征匹配方法[30]则通过将点云简化为对象的质心和类别表示,结合几何关系和匹配算法,实现了低存储需求下的高效位姿估计。该方法不仅显著降低了数据存储和计算成本,还能更好地适应动态场景和大视角变化,同时保持较高的估计精度。


与前一类方法不同,基于深度学习的方法依靠神经网络自动提取点云特征。文献[31]利用多层感知器(MLP)神经网络从LiDAR深度图像中自动提取特征并初步估计目标位姿,随后结合迭代最近点(ICP)算法优化结果。这种方法有效避免了前一类方法中对几何特性明确建模的要求,提升了对复杂场景的适应能力。


在生化实验室中,触觉传感器能够弥补视觉传感器和激光雷达在直接接触和物理交互场景中的不足。通过感知接触点的力分布和几何特征,触觉传感器能够提供更精确的位姿信息。触觉感知可分为两类:静态感知和动态感知。


静态感知用于获取静止物体的位姿信息。例如文献[32]提出一种静态位姿感知方法,通过触觉阵列传感器采集压力数据,计算协方差矩阵并提取主轴特征,将其与物体几何特征匹配,从而实现对抓取物体的精确定位。触觉传感器在透明试管等难以通过其他传感器感知的物体中,展现出巨大的应用潜力。


动态感知在生化实验室中,用于操作过程中物体位姿的实时跟踪,例如移液器在液体转移时的姿态调整,通过触觉反馈实现精准控制。动态感知的核心难点在于物体位姿随操作不断变化,单次触觉测量信息有限,需要通过整合多次测量以及处理复杂的接触力和几何关系来实现有效跟踪。


文献[33]提出通过学习触觉数据的特征模型并结合优化算法,使触觉感知能够快速适应动态变化,提高了感知的稳定性和跟踪效率。文献[34]通过实时位姿跟踪技术显著降低了操作误差,解决了动态场景下多步骤操作中位姿不确定性的问题,为生化实验中的高精度任务(如试剂分配和操作工具调整)提供了可靠支持。


2.1.2 基于多模态数据融合的环境感知技术


单一模态感知通常限制了机器人感知作业的准确性和安全性,无法满足生化实验室复杂非机构化场景下的多机器人全方位感知。为增强机器人对环境的感知能力,多模态感知技术结合来自机器人系统的图像、音频、触觉等多种感知模式的信息,将其融合为一致且全面的描述。根据特征融合的方式,基于多模态数据融合的环境感知算法可以分为早期融合(Early fusion)、特征融合(Middle Fusion)以及后期融合(Late fusion)[35]。

这种分类主要依据多模态数据在神经网络处理流程中的融合阶段:早期融合指在数据输入阶段将各模态数据直接组合后送入网络进行统一处理;特征融合是在模型中间层由各模态独立的特征提取网络提取特征后进行联合表示;后期融合是在每个模态完成独立特征处理或预测后,通过决策层将多模态结果进行综合整合。


1)早期融合类方法。该方法是指在模型的早期阶段将多模态数据直接合并,形成联合特征表示,以支持后续的统一处理。其优点是能够充分利用多模态数据中的原始信息,计算效率高,适合实时性要求高的任务[36]。然而,早期融合对数据质量依赖较高,噪声可能对结果产生较大影响。Zhou等[37]提出一种基于自注意力和交叉注意力层的早期融合方法,将RGB图像和深度图像结合,从而提升了低光照环境下光流和场景流估计的性能[38]。此外,Ngiam等[39]的研究展示了早期融合在音频和视频数据共享特征表示中的有效性,为多模态数据的联合处理提供了理论基础。


2)特征融合类方法。该方法是指在模型的中间层对不同模态数据的特征进行联合表示。各模态数据通过各自的神经网络提取特征后,再在中间层进行融合,从而有效利用不同模态的深层语义信息。这类方法能够平衡不同模态的特性,适合处理语义复杂的多模态任务。文献[40]提出一个融合LiDAR和相机数据的框架,通过体积渲染技术实现三维语义占用预测,显著提高了机器人对三维环境的理解能力。此外,Qian等[41]提出一种激光雷达与毫米波雷达的特征融合方法,通过生成区域特征并进行联合优化,增强了机器人在复杂环境下的感知能力。


3)后期融合类方法。该方法是指每个模态的数据经过各自的网络独立处理后,在最后的决策层将不同模态的结果进行融合,适用于多种模态数据之间存在不相关关系的情况[42]。Inceoglu等[43]利用RGB、深度和音频数据并通过后期融合的方式,有效检测和识别了机器人操作中的故障。Zhang等[44]通过后期融合RGB图像和深度图像的方式,并结合保护性校正算法,实现了不同光照下的物体位姿估计与精确抓取,避免了因误识别导致的碰撞,其算法框架如图5所示。


面向智能生化实验室的机器人感知、规划与控制技术图6

图5 多模态数据融合位姿估计与精准抓取[44]


这三类方法各具特点,适用的任务场景也有所不同。早期融合在实时性要求高、传感器数据质量较好的场景中表现出色;特征融合在需要深度语义理解的任务中具有显著优势;而后期融合则在多模态间相关性较弱、传感器数据异构性强的情况下表现优异。表2对三种融合方法的优缺点以及适用任务进行了对比分析。


表2 多模态融合算法对比

面向智能生化实验室的机器人感知、规划与控制技术图7


2.1.3 基于大模型推理的环境感知技术


大模型是指在海量数据上预训练的人工智能模型,通过深度学习挖掘复杂数据模式和潜在信息,展现出卓越的智能能力和泛化性能。近年来,GPT-3[45]和 GPT-4[46]等大语言模型的成功,不仅引领了大模型的发展方向,也激发了视觉大模型的研究热潮,如表3所示。以 CLIP为代表的视觉−语言大模型,通过在包含4亿图像−文本对的大规模数据集上预训练,在未见过的图像分类任务中表现出色。例如,CLIP在ImageNet数据集上无需任何训练样本就达到了与ResNet-50相匹配的分类准确率。


这一能力源于CLIP的独特设计,它将图像和语言通过共同的嵌入空间对齐,使模型能够理解图像内容并与自然语言描述关联。这种语言和视觉的对齐技术赋予了CLIP处理开放词汇任务的能力,即,无需预定义类别,模型也能识别新出现的物体或场景。这种特性非常适合机器人在未知或动态环境中的应用场景。当机器人遇到未在训练集中出现的物体时,视觉语言大模型能够通过结合图像和语言的信息,利用描述性语言识别物体的属性和功能,从而显著提升其感知能力。因此,本文将从机器人需要精确感知三维空间环境的实际应用入手,介绍视觉语言模型(Vision-language models,VLMs)等大模型在增强机器人感知能力方面的应用。


具体来说,基于大模型的环境感知技术包括开放词汇三维物体识别(Open-vocabulary object detection,OV-3DOD)、开放词汇三维语义分割(Open-vocabulary semantic segmentation,OV-3DSS)以及开放词汇场景图(Open-vocabulary scene graph,OV-3DSG),这三者相互联系,共同构建全面的三维感知体系。开放词汇三维物体识别帮助机器人能够识别和理解未知物体;开放词汇三维语义分割使得机器人能够区分不同类别的物体并理解其语义信息;而开放词汇场景图则综合这些信息,提供对整个环境的语义理解和场景描述。图6展示了物体识别、语义分割以及场景图在生化实验室感知中的关系。


表3 代表性大模型

面向智能生化实验室的机器人感知、规划与控制技术图8

面向智能生化实验室的机器人感知、规划与控制技术图9

图6 在生化实验室感知中,物体识别、语义分割和场景图之间的关系[56]


1)开放词汇三维物体识别。这类算法引入自然语言处理技术,利用丰富的语义信息,提升模型在识别未见过的新类别时的能力[52]。PointCLIP[53]通过将三维点云数据转换成多个视角的二维深度图,并利用预训练的CLIP模型来分析这些二维图像,从而实现对三维数据的理解。受PointCLIP的启发,Cao等[54]增加一个三维新物体发现策略来生成伪标签,并引入一个跨模态对齐模块,结合三维点云与图像/文本特征,通过类无关和类区分对齐,实现了更好的特征对齐和新物体的分类。


此外,与PointCLIP通过将三维点云数据转换为多视角二维深度图,并利用预训练的CLIP模型进行分析来理解三维数据不同,OpenShape[55]通过整合文本、图像和点云数据实现三维物体的统一表示,并使用对比学习框架和硬负采样模块进行训练。由于它们学到的表示与CLIP嵌入对齐,可以将其应用到各种基于CLIP的模型中,实现例如基于点云的图像生成等功能,从而进一步加强机器人对二维数据和三维数据的理解与转换。


2)开放词汇三维语义分割。这类算法是一种能够在未知环境中理解和识别三维场景中各种对象的技术。这些模型可以确保机器人在复杂的生化实验室场景下精准识别和分割实验操作对象及样品,从而提升机器人操作的效率与安全性。大量研究利用预训练的二维视觉语言模型(如CLIP)在二维图像上进行开放词汇分割,然后通过不同方法将这些二维分割结果与三维点云数据对齐。


OpenMask3D[57]首先对三维场景中所有物体实例三维掩码进行分割,然后使用CLIP模型从多个角度提取二维图像特征,最后将这些特征与生成的三维掩码融合,以实现对各种对象的分割。与此不同,Lu等[58]的方法是先将多视角二维图像中的分割物体与文本信息对齐,再将这些二维分割特征映射到三维点云数据中,从而实现三维物体的检索与分割。


Open3DIS[59]则通过将多帧二维图像的分割结果与三维点云分割对齐,实现开放词汇的三维实例分割,提升对小规模和几何模糊对象的识别能力。此外,有研究利用神经辐射场[60] (NeRF)进行三维空间物体分割。


LERF[61]将CLIP模型的语言理解能力结合到三维场景中,能够根据文本查询实时生成对应的三维场景地图,支持从抽象概念到具体物体的各种查询。Anything-3D[62]结合神经辐射场(NeRF)、视觉语言模型以及SAM[51] (Segment anything model),实现了从单一RGB图像生成高精度、细节丰富的三维重建。


SAM在这一过程中扮演了关键角色,它通过快速分割图像中的不同区域,提供了精准的物体轮廓和语义信息,极大地提升了重建过程中对复杂物体和场景的理解能力。借助 SAM 的分割能力,Anything-3D 能够适应各种类型的物体和环境,将二维图像的视觉信息高效转化为三维结构。


3)开放词汇三维场景图。三维场景图(3D scene graphs,3DSGs)是一种用于描述三维空间中物体及其相互关系的表示方法。相比于传统的三维目标识别和三维语义分割,三维场景图不仅需要识别每一个实例,还需要了解每个实例之间的语义关系。而开放词汇三维场景图进一步解决了新物体出现后与原有物体之间关系的问题,允许对未知类别的物体进行识别和关系推断。


Zhang等[63]创新性地利用了一个强大的预训练视觉−语义空间(Visual-semantic space,VSS),以简单而有效的方式实现了语言监督和开放词汇的场景图生成。该方法使得模型能够在开放词汇的环境下进行对象识别和关系推断,从而有效处理未知类别的物体。


Koch等[64]提出首个基于语言预训练的三维场景图方法,利用CLIP的语言编码器,通过对比预训练将语言知识融入三维场景图网络中,该方法在语义三维场景图的基准测试中表现优异,并支持零样本查询。同时,有学者利用CLIP预训练模型从与三维点云相关的文本和图像数据中提取跨模态特征,并将这些特征用于训练一个鲁棒的三维场景关系图特征提取器,从而显著提高了物体在新环境中的关系推断能力[65]。


ConceptGraphs[66]通过处理RGB-D图像序列构建开放词汇的三维场景关系图,该方法结合实例分割、多视角融合和大型视觉−语言模型技术提取并关联三维对象及其描述,最终生成对象间的关系。开放词汇三维场景图为智能生化实验室中的机器人提供了精准识别各种操作对象的新可能性。未来,它将能够有效映射和理解这些对象在实验流程中的具体功能和相互关系,从而显著提升实验操作的效率和安全性。表4列举了部分生化实验室中的感知算法应用。


表4 生化实验室中的感知算法应用

面向智能生化实验室的机器人感知、规划与控制技术图10


2.2 多机器人任务与运动规划技术


以新药研发为例,其流程包括候选药物探索、药学合成实验等,单一机器人难以满足生化实验室药品制备的复杂需求,因此需要多个机器人协作完成操作,例如转运机器人、双臂试剂配制机器人、培养机器人、离心机器人、成分分析机器人等(见图1)。


多机器人协同作业通常包括任务分解、联合体形成、任务分配和任务执行四个阶段,这些步骤可以简化为任务规划与运动规划:任务规划负责根据多个机器人的功能与状态,将高层次目标分解为可执行的子任务;而运动规划则进一步确定机器人在物理空间中的运动轨迹以完成任务。


生化实验室中多机器人任务与运动规划的核心需求包括协调调度与路径规划,与实验器具、试剂的安全交互以避免冲突和意外,以及任务优先级的动态调整以适应实验进程的变化。针对这些需求,本文从多机器人任务规划和机器人运动规划两个层面展开分析,探讨关键技术与方法。


2.2.1 多机器人任务规划技术


适用于生化实验室的多机器人任务规划主要分为三类方法:基于预先定义的任务规划技术、基于强化学习的任务规划技术以及基于大语言模型的任务规划技术(如表5所示)。


表5 任务规划算法对比

面向智能生化实验室的机器人感知、规划与控制技术图11


1)基于预先定义的任务规划技术。通过明确任务条件、动作及效果生成操作序列,确保规划的精确性和可靠性。规划区域定义语言[73] (PDDL) 是该领域的经典方法之一,它通过域文件定义机器人动作及其前提条件和效果,并通过问题文件描述初始状态与目标状态。例如,在生化实验室中,域文件定义了转运机器人的高层次动作(如移动、抓取、放置),问题文件描述了样品和机器人的位置以及目标状态。


Kovacs等[74]扩展了PDDL框架,使其支持多机器人任务规划,能够处理机器人间的并发与交互问题;基于此,Buehler等[75]提出在线动作实例化算法,使系统能够动态生成和调整动作以应对任务需求变化,从而克服了传统方法中需预定义所有可能动作的局限性。相比PDDL,线性时序逻辑(LTL)通过定义子任务间的时间约束增强了多机器人任务规划能力。例如,在生化实验室中,LTL可定义转运机器人需等待双臂机器人完成配药后才能进行转运。


Yu等[76]通过为每个机器人分配局部规范(Local specification),结合离线预计算、初始安全轨迹生成和在线冲突检测机制,实现共享空间内多机器人间的安全任务规划与运动协调。Luo等[77]提出一种基于全局规范(Global specification)优化整体任务分配的层次化方法,并在2024年的研究[78]中进一步设计了分层框架,将全局规范分解为具体子任务以优化任务分配和执行。


这些方法展示了PDDL和LTL在多机器人任务规划中的不同优势,其中LTL尤其适用于具有复杂时间约束的任务场景。基于预先定义的规划技术在规则明确、任务固定的场景中表现良好,能够快速生成稳定的解决方案。然而,在环境动态变化或任务不确定性较高时,这类技术的适应性较弱,难以灵活调整。因此,在动态多机器人配药制药环境中,这类技术更适合处理任务变化较小、规则清晰的部分。


2)基于强化学习的任务规划技术。随着任务复杂性和多样性的增加,多机器人协同规划在实验室任务的高效执行中发挥了重要作用,而强化学习的快速发展为任务规划提供了新的解决方案,使机器人能够在动态环境中灵活分配任务并优化系统效率[79]。


强化学习方法主要分为合作强化学习(Cooperative reinforcement learning)和竞争强化学习(Competitive reinforcement learning)。在合作强化学习中,机器人通过信息共享和策略协作来优化整体回报[80]。如集中式训练分布式决策(CTDE)方法在训练阶段利用全局信息优化策略,在决策阶段基于局部观察独立完成任务。


Son等[81]通过联合动作价值函数分解并校正部分可观测性问题,显著提升了多机器人任务规划效率;Chen[82]提出策略蒸馏(Policy distillation),通过将全局策略提炼为局部策略,提高了多机器人系统的协作能力。集中式训练集中式决策(CTCE)则在训练和决策阶段均使用全局信息,Li等[83]提出的深度隐式协调图(DICG)通过隐式建模多机器人间的任务依赖关系和联合决策过程,优化了多机器人任务分配中的全局协调性。


分布式训练分布式决策(DTDE)通过局部信息动态调整任务分配策略,Gu等[84]将其建模为网络化马尔科夫决策过程,使机器人在局部信息基础上实现任务优化。在竞争强化学习中,机器人以最大化自身回报为目标,与其他机器人产生竞争[85]。例如,Lanctot等[86]提出零和博弈策略,通过最大化单个机器人的收益并最小化其他机器人收益,优化了多机器人任务规划效率;Gleave等[87]则采用对抗性策略,通过干扰其他机器人决策来提升自身任务执行能力。


合作强化学习和竞争强化学习在多机器人任务中适用于不同的场景。合作强化学习强调多机器人间的协同,通过信息共享和策略一致性来完成高协作性任务,如精准实验操作和复杂实验流程的分工执行。相比之下,竞争强化学习更适用于资源有限或任务分配需要优化的场景,例如在生化实验室中,当多个机器人同时需要使用液体处理机器人进行试剂分配时,竞争强化学习可以让机器人基于任务优先级、试剂存量和设备使用时间等因素,自主学习最优的资源分配顺序。


通过对抗机制,机器人能够在资源受限的条件下快速适应任务需求,优化使用策略,避免设备冲突并提升整体任务效率。然而,竞争强化学习可能增加系统的不确定性,尤其在需要高稳定性和协作的任务中。因此,方法的选择应结合任务需求进行权衡,或在某些场景中混合使用两种机制以提升系统性能。


3)基于大语言模型的任务规划技术。大语言模型凭借其强大的自然语言处理和生成能力,能够帮助机器人理解指令并智能生成任务规划,已成为多机器人系统中的重要研究方向之一,如图7所示。


基于大语言模型的多机器人任务与运动规划技术可分为两类:直接方法和间接方法。直接方法通过大语言模型直接解析复杂指令并生成具体的规划指令,例如,SMART-LLM[88]直接将人类指令转化为多机器人任务计划,完成任务分解、联合体形成和任务分配,展示了在复杂任务规划中的有效性;而S-ATLAS[89]引入符合预测(Conformal prediction)工具,量化预测不确定性,使多机器人任务规划更可靠灵活,尤其在动态环境中表现出强大的适应性与决策能力。


此外,Wang等[90]提出的LLM3框架在任务和运动规划中加入自纠错机制,能够通过反馈迭代改进运动规划方案,显著优化了任务执行效率。而 RoCo 框架[91]通过对话推理生成任务计划,并利用实时环境反馈调整规划,提高了任务执行的灵活性和成功率。间接方法则利用大语言模型生成辅助信息支持多机器人任务规划,其中一种方式是结合大语言模型与经典规划算法,例如,与基于预先定义的任务规划技术结合。


Bai等[92]利用大语言模型分解复杂任务生成子目标,结合经典规划算法生成具体执行计划,优化了多机器人任务规划的效率与效果;Shirai等[93]提出的 ViLaIn 框架中,大语言模型与视觉−语言模型用于生成 PDDL格式的问题描述(PD)文件,而经典规划算法根据PD文件生成执行计划。另一种方式是利用大语言模型生成代码形式支持任务与运动规划,谷歌公司的Code as Policies框架[94]通过生成策略代码控制机器人完成具体任务,包括处理感知输出和参数化控制的函数,从而实现复杂任务的执行。


在动态配药制药场景下,大模型通过强大的语言理解和推理能力,可以将配药需求转化为具体操作步骤,并适应新任务的需求。然而,当数据有限或任务定义不完整时,大模型在规划的稳定性、复杂任务的细节把控以及精确性方面可能会表现出不足[95]。这种情况下,通常需要结合物理约束或其他规划方法进行补充以提升性能和可靠性。表6总结了生化实验室中的大语言模型任务规划算法应用。


面向智能生化实验室的机器人感知、规划与控制技术图12

图7 大语言模型任务规划


表6 生化实验室中的大语言模型任务规划算法应用

面向智能生化实验室的机器人感知、规划与控制技术图13


2.2.2 机器人运动规划技术


在机器人运动规划技术中,本文选择传统路径规划算法、模仿学习算法以及基于具身智能的运动规划算法作为讨论的三类核心技术,分别针对静态环境中的路径优化、复杂任务的轨迹学习、动态环境下机器人感知与运动决策的适应性问题展开分析。


1)传统路径规划方法。主要可以分为图搜索类方法以及随机采样类方法。图搜索类方法通过在图结构上搜索节点和边的关系,优化机器人在环境中的路径选择。经典算法如A* 算法[100],结合路径代价和启发式函数,能够高效规划出最优路径,适用于静态或规则化环境下的运动规划。而TRG[101] (Traversal risk graph)将图搜索扩展至复杂动态场景,通过在图的节点和边上引入环境的稳定性与风险权重,不仅提升了路径的安全性,还实现了多目标优化,使其能够满足高风险环境中的运动需求。


此外,基于邻域增强图的多地质路径搜索方法[102]进一步解决了运动规划中的多路径需求,通过优化图结构,规划出拓扑−几何意义上不同的多条路径,特别适用于三维环境中具有约束条件的运动任务。随机采样类方法通过在搜索控制中随机生成样本点来探索可行路径,在高维复杂环境中展现了极大的灵活性。经典方法如RRT算法[103],通过随机采样生成树结构并结合路径优化策略,保证了路径的渐近最优性,但存在收敛速度慢和路径随机性较大的问题。


RRT-connect[104]进一步改进了采样效率,通过同时从起点和目标点生成两棵随机树,并利用贪心启发式策略使两棵树相互靠近,加速了路径规划过程。此外,SETS[105] (Spectral expansion tree search)结合蒙特卡洛树搜索的优势,通过对连续系统的离散化和搜索策略的优化,实现了动态环境中的实时最优轨迹生成。


2)基于模仿学习的方法。可以分为数据驱动的方法以及模型驱动的方法。其中,数据驱动的模仿学习方法可以进一步划分为行为克隆、逆强化学习和生成对抗模仿学习三类。行为克隆[106]将模仿学习视为一种监督学习方法,通过拟合专家示范的状态−动作对直接生成策略。然而,该方法容易受到分布漂移的影响。为此,DAgger方法通过引入动态采样策略,有效缓解了这一问题[107]。逆强化学习通过观察专家行为推导隐式奖励函数,并以此优化策略。Ng等[108]在马尔科夫决策过程框架下提出通过优化专家策略一致性来逆向推导奖励函数的方法,这项工作奠定了逆强化学习领域的基础。


此外,生成对抗模仿学习[109]通过借鉴生成对抗网络的思想,直接从专家数据中学习模仿策略,而无需显式推导奖励函数[109]。相比传统逆强化学习方法的间接性,生成对抗模仿学习通过对抗性优化有效提升了在高维环境中模仿复杂行为的效率,是模仿学习领域的重要突破。模型驱动类模仿学习方法通过明确的数学建模捕捉机器人运动的动力学特性,为运动规划提供高精度、鲁棒性强的解决方案。


其中,具有开创性的动态运动基元方法[110]利用非线性吸引项和高斯基函数对轨迹进行建模,能够快速生成平滑的运动路径。然而,传统动态运动基元方法在处理多维信息关联性时存在局限,难以有效建模机器人与操作对象之间的复杂关系。为此,Huang等[111]提出一种面向操作对象的模仿学习方法,通过在轨迹建模中引入物体约束,显著提升了机器人在操作对象任务中的轨迹生成准确性。


此外,Zhang等[112]的方法进一步增强了模型对噪声和环境扰动的鲁棒性。该方法结合对抗性训练和动态噪声建模,不仅提高了轨迹的平滑性,还在复杂环境下实现了更高的运动精度。


3)基于具身智能的方法。该类方法通过多模态感知和大规模数据驱动,实现了机器人从高层次任务理解到低级运动轨迹生成的无缝连接。这些算法的共同特点包括直接从视觉、语言等多模态输入生成运动规划。Robotics Transformer系列包括RT1[113]、RT2[114],是该类算法中具有代表性的例子。


RT1是一个基于13万条真实机器人任务数据和700多种任务类型训练的运动规划模型,该模型能够直接从视觉感知生成低级运动控制指令,实现端到端运动规划。


RT2在RT1的基础上进一步扩展了能力,加入语言与视觉的多模态输入,使机器人能够理解自然语言指令并将其转化为运动规划指令。RT2在处理语义复杂、任务多样的运动规划任务时展现了显著的跨任务适应性和效率,是将多模态知识迁移到机器人控制的突破性工作。


与RT系列注重大规模数据驱动的泛化能力不同,CLIPORT[115]强调具身智能中的语言与视觉结合,以双路径架构实现精确运动规划。这项工作结合语言条件与运动规划,为复杂任务中的语义理解提供了一种有效的方法。


与CLIPORT聚焦语言驱动的精确运动规划不同,LATTE[116]借助视觉−语言模型与运动控制的深度结合,强调在复杂场景中实现语言条件下的灵活运动规划,进一步拓展了具身智能的研究方向。


2.3 多机器人交互控制技术


当多机器人在生化实验室执行协调操作任务时,不同类型的机器人会发生交互,例如移动机械臂与移动机械臂之间的交互、机械臂与机械臂之间的交互以及移动机械臂与机械臂之间的交互(如图8所示)。因此,为实现多机械臂与环境的柔顺交互控制并获得期望的协同性能,设计多机械臂交互控制算法至关重要。本文将从集中式控制方法以及分布式控制方法两个方面(如表7所示),对当前多机器人交互控制技术进行分析。


面向智能生化实验室的机器人感知、规划与控制技术图14

图8 实验室环境下多机器人交互


表7 集中式控制与分布式控制对比

面向智能生化实验室的机器人感知、规划与控制技术图15


2.3.1 多机器人集中式控制技术


集中式多机器人控制方法的实现途径主要包括基于模型驱动和基于数据驱动的两种方法。


1)基于模型驱动的集中式控制方法。该方法依赖于对系统动力学模型的精确构建和求解,能够提供可解释性和鲁棒性高的控制策略。例如,阻抗控制方法通过显式建模机器人与环境之间的力学交互,调整系统刚度和阻尼特性,从而在复杂接触任务中实现平稳且精确的控制。


Ren等[117]通过内在阻抗控制(Internal impedance control)和对象阻抗控制(Object impedance control)实现对双臂机械臂的统一协调和管理,从而确保整体系统的优化性能。


随后,Soufiani等[118]提出一种用于双臂协作机器人高速传输液体容器而不产生液体晃动的阻抗控制方法。该方法通过引入抑制晃动的控制项,成功解决了传统阻抗控制在液体传输过程中无法抑制晃动的问题。


同时,Nicolis等[119]提出一种结合滑模控制和模型预测控制的集中式控制器,专门用于双臂机器人的阻抗控制和参考跟踪。该方法通过数学优化在任务空间中定义滑动流形,并将其投影到关节空间,从而确保了精确的跟踪和执行端点阻抗。


与此类似,李德昀等[120]也致力于双机械臂的协同控制,通过建立动力学模型并采用时间延时估计与自适应模糊滑模控制,设计了一种双机械臂协同阻抗控制器,实现了精准的末端轨迹和接触力控制。


此外,一些学者将复杂的多机器人控制问题集中到一个统一框架中进行系统化求解。其核心思想是将多机器人的控制需求整合为一个数学优化问题,并通过高效的优化算法计算出全局最优的控制策略,从而实现多机器人系统的精准协调与高效运行。例如,Bouyarmane等[121]介绍了一种集中式控制方法,将多机器人系统的模型和交互任务约束集成到单一的二次规划(Quadratic program)框架中。通过这种方法,简化了任务规范并实现了可靠的力跟踪。


受Kuffner等[104]工作的启发,Djeha等[122]进一步改进了这一集中式任务空间二次规划方法,通过引入高层次积分反馈项,有效解决了因未建模动力学引起的不稳定性问题。


此外,Ren等[123]提出一种基于感知模块和优化模块的双臂机器人通用操作框架。该框架中的感知模块处理基于视觉的双手抓取,而优化模块通过分层二次规划实现在线协作操控和自碰撞避免,实验验证了其在长时间双臂操作中的高效性和可靠性。


2)基于数据驱动的集中式控制方法。通过从数据中直接学习控制策略,显著减少了对精确动力学建模的依赖,并在应对复杂接触任务、协调多机器人系统操作以及提升数据利用效率方面展现出独特优势。接触丰富的任务是机器人控制领域的重大挑战之一,因为此类任务通常涉及非线性力学和复杂的环境交互,使得传统方法难以构建准确的动力学模型。


为应对这一挑战,Alles 等[124]通过一个共享的集中策略对两个机械臂进行全局动作规划,从而在无需显式建模双臂间力学耦合的情况下,实现对接触丰富双臂装配任务的高效控制与协作。而Bi-Touch系统[125]更进一步地通过结合触觉传感器和深度强化学习技术,设计了集中式奖励机制和目标更新方法,使其能够在复杂接触任务中有效处理力学反馈,增强对外部扰动和未知物体的鲁棒性。


此外,在双臂或多臂系统中,由于高维状态−动作空间的存在,控制任务的复杂性显著增加。文献[126-127]提出了一种方法,通过从演示数据中学习关节之间的协同模式,将高维状态−动作空间映射到低维控制子空间,从而有效降低了控制的难度。这使得集中式控制能够更加高效地协调多机器人系统的动作,提升了系统的整体表现。


针对数据驱动的集中式控制中数据效率较低的问题,Lin等[128]提出一种旨在通过生成等效的训练数据来有效提升学习效率的创新方法。他们通过利用任务操作在不同场景下的通用性,变换已有数据以生成更多有效样本。这使得机器人能够在有限的数据集上快速学习控制策略。


2.3.2 多机器人分布式控制技术


分布式控制则依赖于各机械臂的自主决策和局部信息,通过有限的通信实现系统协调,这种方法更具灵活性,适用于动态变化的操作环境。例如多个机械臂在生化实验室内同时进行样本处理和分析任务,每个机械臂根据自身感知的信息独立调整操作,以适应不断变化的实验条件和要求。这个方法大致可以分为分布式自适应控制方法和基于数据驱动的控制方法。


1)分布式自适应控制方法。这类方法侧重于通过自适应控制算法应对环境的不确定性和系统的动态变化。Culbertson等[129]提出一种分布式自适应控制方法,该方法使多机器人在协作任务中能够在未知物体特性的情况下共同操控物体沿期望轨迹运动。系统中每个机器人独立估计相关参数并调整其控制策略,从而确保整体轨迹收敛到预期目标。


此外,文献[130]提出一种基于分布式实时自避碰力矩控制策略,专用于解决双臂机器人运动中的自碰撞问题。该方法利用动态骨架包围盒简化关节间最小距离的计算,设计了基于距离的分布式力矩控制算法,将关节间距离转换为避碰力矩,并与任务力矩相加,最终实现有效的自避碰控制。


Jing等[131]针对双臂机械臂在未知环境中的交互力控制问题,提出一种自适应双环阻抗控制方案。该方案包括外环的自适应变量阻抗控制、内环基于内部力的阻抗控制以及虚拟分解控制方法,以实现机械臂的轨迹跟踪、内部力控制和机器人与外部环境的交互力控制。


Sewlia等[132]进一步提出一种分布式自适应控制方法,使双臂机器人系统能够根据特定的信号时序逻辑(Signal temporal logic,STL)公式协同操作物体,并确保物体轨迹在规定的时间内达到预期目标。每个机器人独立计算控制信号,即使在不了解其他机器人或物体动态的情况下,也能成功完成协同操作任务。此外,Abbas和Dwivedy[133]提出一种改进的自适应运动−力控制方法,该自适应控制器采用反步法设计,在不确定性和干扰下控制物体的运动,同时保持机械臂之间施加在物体上的力恒定。


此外,Chen等[134]进一步引入生物启发神经网络模型表征动态环境信息,并基于分布式模型预测控制框架实现了多机器人系统的自适应运动控制,如图9所示。


面向智能生化实验室的机器人感知、规划与控制技术图16

图9 基于生物启发神经网络的分布式运动控制框架[134]


2)基于数据驱动的控制方法。这类方法则通过学习的方法使机器人能够自主学习和适应复杂的任务与环境。与上述方法不同,Zhang等[135]提出一种基于深度Q网络(Deep Q-network,DQN)的分布式控制方法,使多机器人系统能够通过强化学习协同完成操作任务。每个机器人通过试错学习独立掌握控制策略,从而避免了集中计算的瓶颈,显著提升了系统的灵活性和适应性。


Liu等[136]提出一种基于深度确定性策略梯度(DADDPG)的双臂分布式控制算法,旨在实现双臂机器人的协作控制。该方法通过让双臂机器人中单个机械臂共享各自的环境观测和动作信息,自主探索动作空间。该研究不仅结合了分布式控制和深度强化学习,还通过“奖励合作、惩罚竞争”的机制显著提升了机器人在复杂任务中的协调和适应能力,提供了新的见解和更有效的解决方案。


此外,Yu等[137]提出一种基于贝叶斯优化和高斯过程的分布式控制方法,用于机器人在复杂和不确定的环境中完成高精度的任务。多臂协调任务中常常面临接触丰富任务的挑战。例如,在生化实验室中,多个机械臂需要协同完成处理培养样本的精密操作,这些任务涉及到机械臂与对象或环境的频繁接触和复杂互动。


为此,Fan等[138]提出一种基于学习的分布式控制框架,该方法能够在无需动态建模和预编程任务特定技能的前提下保证机械臂在紧密协调的同时也能熟练地操控物体,显著提升了系统执行精密操作的能力。


此外,文献[139-140]提出一种基于多个本地节点协作的分布式机器学习算法,该算法通过本地节点独立处理数据并共享学习成果。其中,每个节点在本地进行模型训练,并定期与其他节点共享学习成果,从而有效适应任务的复杂性和数据分布不均的问题。


3 智能生化实验室典型案例


3.1 学术界案例


3.1.1 利物浦大学光催化剂实验室


英国利物浦大学展示了一种用于改进光催化剂的机器人化学家系统[7]。该系统由一个Kuka移动机器人和八个专用任务工作站组成,包括液体处理站、固体处理站、超声波处理站、光解站、气相色谱站以及三个存储站(如图10(a)所示)。通过结合人工智能与机器人技术,该机器人在八天内自主探索实验方案并进行实验验证,最终发现了一种比原始配方活性高六倍的光催化剂混合物。


然而,该机器人系统在适应多样化实验任务时仍存在一些不足。在控制方面,机器人在处理精细调整或复杂操作时表现出的灵活性和精准性有限,难以胜任高要求的实验场景。在规划过程中,系统依赖“试错”方式进行任务设计,未能有效结合理论模型或先验知识,导致效率较低且优化效果受限。在整体适应性上,机器人需要大量的手动配置才能兼容不同的实验设备和操作步骤,通用性不足,难以实现“一机多用”。


未来,机器人化学家系统可以进一步提升实验任务的准确性和自主性,使其更接近研究人员在实验室中的工作方式。通过结合化学领域语言大模型[9],机器人能够理解实验目标并精确规划实验方案,从实验设计到参数调整都更加高效准确。此外,系统还可以动态适应实验过程中的变化,自主优化实验流程,从而实现“像人一样”在实验室中工作。


面向智能生化实验室的机器人感知、规划与控制技术图17

图10 生化实验室典型案例


3.1.2 中国科学技术大学火星制氧催化剂实验室


为解决未来火星生存中的氧气供应问题,中国科学技术大学罗毅团队与深空探测实验室的科研人员合作,研发了一种能够自动化设计并生产制氧催化剂的人工智能化学家系统[141]。该系统由一个移动机器人、一个智能计算中心、一个云服务器以及十四个专用任务工作站组成。


智能计算中心负责根据火星矿石数据设计催化剂结构,移动机器人则进行催化剂的合成和实验验证。该系统能够在超过三百万种可能的组合中快速识别出最佳催化剂配方,显著提升了制氧催化剂的研发效率。然而,目前系统的核心仍集中于在固定流程中优化实验条件,主要适用于相似任务的重复执行。


在任务泛化和应对多样化实验需求方面,机器人技术的智能化水平还有提升空间。如果未来能够进一步提升机器人对实验任务的动态适应能力,实现对不同实验流程的灵活规划和执行,将使其在更广泛的科研场景中发挥更大的潜力。


3.1.3 湖南大学生物疫苗研发实验室


近年来,全球大范围疫情频发,各国对新型药物、疫苗的研发与制造需求激增。湖南大学张辉教授团队针对加快医药研发效率与提升医药质量安全需求,研制出面向高端疫苗制造与检测的共融机器人系统。该系统将学习理解、任务规划与检测分析集成一体化,为科研级新药疫苗研发、试验提供有效手段。整体流程分为双臂机器人无菌药物配制、医药多光谱成像检测[142-143]、机器人药物转运、全波段高光谱成像分析[144],如图11所示。


然而,该机器人系统目前在机器人配置上相对单一,仍有进一步优化的潜力。虽然单一双臂机器人能够高效执行既定实验计划,但其任务处理能力主要局限于固定流程内的操作,难以应对复杂或多步骤任务的并行需求。未来若能引入多机器人协作系统,通过分工完成物料处理、参数调整和结果验证等不同实验环节,将显著提升系统的灵活性与效率。


面向智能生化实验室的机器人感知、规划与控制技术图18

图11 湖南大学生物疫苗研发实验室


3.2 业界案例


3.2.1 IBM生化实验室


国际商业机器公司(International Business Machines Corporation,IBM)是最早投入智能生化实验室建设的公司之一。2020年,IBM推出了名为RoboRXN的生化实验室[145]。该实验室结合了自动化配药平台、云计算平台和人工智能算法。科研人员可以在云平台上绘制目标分子化合物的结构,平台利用人工智能算法预测合成该目标产物所需的成分及其混合顺序,最终由平台完成实验并生成实验报告。2022年,IBM在原有RoboRXN平台的基础上,增强了对生物催化剂(酶)的生物催化反应预测和逆合成路径规划功能[146]。


此外,IBM研究中心推出了预训练AI模型MoLFormer-XL[147]以紧跟人工智能领域的发展。该模型能够学习分子内部原子之间的空间关系,有效支持不同分子属性的预测,显著提升了分子筛选和新分子设计的效率。IBM的RoboRXN系统目前完全依赖自动化设计完成药物合成,未引入机器人进行实验操作。虽然这种方式在数字化和远程化方面表现出显著优势,但实验操作仍需人工干预,无法实现全流程自动化。


3.2.2 晶泰科技生化实验室


晶泰科技是一家专注于将人工智能和机器人技术应用于生命科学和新材料发现领域的研发公司。公司提供的小分子药物发现、大分子药物发现、自动化化学合成及药物固体形态研发等服务,在业界享有良好声誉。


以自动化化学合成为例,晶泰科技自主研发的IChemArtTM系统[148]结合智能计算、专家知识和机器人技术,高效、安全地执行化合物库合成任务。该系统通过智能计算和专家设计全面的合成计划,并利用机械臂和AGV进行转运和合成。在一次任务中,研究人员设计了151个反应,自动化工站在两天内完成所有建库平行反应,最终交付了102个合格产品。


然而,该系统采用模块化设计,各工站和机器人在完成任务时以独立模块形式运行,缺乏系统间的深度集成。这种设计虽然提升了灵活性,但在处理复杂多步骤的化学反应时,模块之间的协调性和整体优化能力仍有待提高。


3.2.3 英矽智能生化实验室


英矽智能于2022年在苏州BioBAY工业园区推出了第六代智能机器人药物发现实验室——Life Star。该实验室结合了英矽智能自主研发的Pharma.AI人工智能药物研发平台与自动化机器人技术。其中,Pharma.AI平台包括PandaOmics、Chemistry42和inClinico三个模块。


PandaOmics[149-150]是一个用于多组学(Multi-omics)目标发现和深度生物学分析的模块;Chemistry42利用基于大量专业数据的人工智能算法[151-152]设计并生成新的先导物分子(Lead-like molecules);inClinico模块[153]通过数据分析和预测模型帮助评估临床试验结果,并利用预测结果不断改进临床试验设计。通过整合生物学、人工智能和自动化技术,英矽智能旨在提升生物药物研发的效率和精度,实现自动化、高效化和智能化的实验室操作。


然而,英矽智能的生化实验室主要专注于药物研发的算法开发和优化,机器人技术的应用相对有限。虽然在算法领域展现了很高的创新性,但在实现实验自动化方面仍有进一步发展的空间。如果能够加强机器人在实验流程中的应用,将有助于实现从算法预测到实验验证的全流程自动化。


4 智能生化实验室发展趋势及挑战


4.1 发展趋势


生物化学实验室涉及基础生物学、医学、化学、材料、信息学等多个领域,在人类健康、新药研发等方面发挥着举足轻重的作用,是科技发展的主要推动力和国际前沿技术竞争的焦点。目前生化实验室发展的趋势包括:


1)从传统实验室到智能化生化实验室。随着人工智能、机器人、物联网和大数据等技术的快速发展,生化实验室正朝着智能化方向发展。这种转变包括实验室仪器设备的自动化运行、实验任务的智能化管理以及数据的实时监测与分析。这些进步为科学研究提供了更丰富的数据支持和更精确的分析手段,显著提高了实验效率和数据准确性。


2)从人工干预到机器人自主决策。随着大模型技术的进步,具身智能为生化实验室的机器人自主决策提供了全新的可能。通过将大语言模型的推理能力与实时感知和物理交互深度结合,具身智能使机器人能够在实验过程中动态感知环境变化、调整操作参数并优化任务执行方案。在复杂的生化实验中,具身智能不仅赋予机器人理解实验目标和执行任务的能力,还能根据实时反馈调整配药比例、反应条件等关键参数,从而主动优化实验流程。这种自主决策能力减少了人工干预的需求,大幅提升了实验室的操作效率与精确度,为生化实验室向高度智能化迈进奠定了基础。


3)从单机器人到多机器人共融协同作业。智能生化实验室正在向多机器人协同作业的方向发展。未来,多个机器人可以同时执行不同的任务,通过互相协作完成更复杂的实验操作。这种模式不仅能提高实验效率和灵活性,还能实现资源的共享和调配,更好地适应实验室不断变化的需求。


4.2 未来挑战


基于以上三点,未来的生化实验室将会更加智能化,并且更依赖多机器人系统的协同工作。未来智能生化实验室设想如图12所示。然而,在智能化进程中,多机器人系统在智能生化实验室中面临诸多挑战。


面向智能生化实验室的机器人感知、规划与控制技术图19

图12 未来智能生化实验室


1)感知与理解能力弱、自主泛化作业能力差。在生化实验室中,机器人需要应对复杂且动态的工作环境,其中往往涉及双臂机器人和移动转运机器人的协同作业。然而,当前的机器人系统在处理环境感知数据时,通常受到处理能力的限制,导致对环境变化的响应速度和准确性不足。例如,当实验条件发生变化或出现新类型的样品时,现有机器人系统往往无法有效识别和适应,从而影响实验的准确性和效率。


具体来说,在操作多样化生化容器时,双臂机器人常因容器的形状与材质各异而面临显著的识别困难。这种差异性增加了机器人精确抓取与操作的挑战。与此同时,移动转运机器人在作业过程中,特别是多台同时工作的情况下,往往面临动态变化的挑战。这些机器人需要在不断变化的动态环境中处理障碍物,然而由于缺乏足够的动态障碍物感知与规避能力,容易发生碰撞或任务延误。此外,转运机器人需要在不同工位之间进行作业,但由于每个工位的环境和任务要求可能有所不同,这使得机器人难以适应场景的复杂多样性。


现有机器人在这些动态且复杂的场景中,无法充分利用之前的经验,导致作业效率低下且稳定性不足。尽管开放词汇三维场景图等先进技术在理论上展示了在表示实验室环境中不同对象之间空间关系的潜力,但是这些技术尚未完全落地于实际的生化实验室环境。这意味着,当前的机器人系统仍然难以充分利用这些空间关系信息来增强对生化实验室环境的理解和自主决策能力。因此,在面对新的实验任务或未知环境时,机器人难以将之前的知识迁移到新场景中。


此外,生化实验室的感知任务通常需要融合多种传感器的数据,如触觉、温度和视觉。然而,现有的大模型主要集中在视觉和语言处理,尚未能够高效整合多模态数据。虽然视觉模型能处理环境理解任务,但在需要触觉或温度反馈的任务中,它们往往无法提供准确的判断。大模型在整合这些数据时表现的不足,导致机器人无法全面理解实验环境,影响任务执行的准确性和效率。


2)多机器人任务耦合性强、规划调度冲突干涉多。在生化实验室中,实验流程通常既复杂又高度动态,涉及多个机器人协同完成自动化疫苗和药物研发、精密生物组织培养及跨平台复杂化学合成等任务。这些任务的复杂性和高度耦合性,使得多机器人系统在执行时常常面临协同困难。特别是在不同时间点需要处理不同类型的样品和试剂时,机器人之间的协作变得尤为复杂。


例如,在生物组织培养过程中,一个机器人可能需要在特定时间段内转移培养物,而另一个机器人则可能在同一时间段内进行化学合成操作。这种任务的时序性要求机器人必须精确协调其操作时间,避免空间和时间上的冲突,进而减少机器人之间的干扰,提升协作效率。此外,实验流程的动态变化,如样品种类的不断增加和实验步骤的调整,也进一步加剧了多机器人协作的复杂性。这些变化要求机器人具备实时适应和快速调整的能力,但现有系统往往难以应对,导致频繁的任务调度冲突和执行过程中的干涉。


因此,如何在复杂和动态的生化实验室环境中,实现多机器人系统的实时任务调度、知识复用和冲突预测的融合,以进行全局路径规划和高效的局部运动规划,成为当前的一项重要挑战。这一能力对于提高多机器人系统在实验流程中的协同效率和任务执行的准确性至关重要。此外,现有大模型通常在通用的数据集上进行训练,但它们在实际应用中难以将从其他领域学习到的知识有效迁移到生化实验室这一特定领域中。由于生化实验室中任务和环境的多样性,每个工位和实验任务的要求各不相同,这使得大模型在进行多机器人任务规划和调度时,无法充分利用跨领域的知识来实现快速适应。


3)多机器人共融协作能力低、操作柔顺性不足。在生化实验室中,双臂机器人系统在执行复杂任务时面临着特殊的控制挑战。任务通常包括对生化容器的精细操作、试剂配制等,其中对操控力度的协调要求极高。在双臂同时进行操作时,例如在样品处理或药物制备过程中,两只机械臂需要同步实现精确的力控制,以确保对壁薄易碎的容器施加适当的力度。


双臂机器人在操作中的复杂性不仅体现在对单个机械臂的力度控制上,更在于如何在两个手臂之间实现精确的力协调。例如,在涂板操作中,一只机械臂负责持稳培养皿,另一只机械臂则需要用试剂进行均匀涂抹,这个过程要求两个机械臂之间的动作和力度必须高度协调。持稳的机械臂必须适当地固定培养皿,以避免其滑动或倾斜,而负责涂抹的机械臂则需控制好压力和涂抹速度,以确保试剂均匀分布且不损坏培养皿的表面。


机器人系统必须具备高度的灵活性,能够实时调整双臂之间的力分配,以应对复杂多变的实验条件。这种双臂协调操作中的力度控制问题,是生化实验室中自动化操作的关键挑战之一。只有通过精密设计的控制算法,双臂机器人才能在多变的环境中保持操作的稳定性和准确性,从而确保实验任务的成功执行。因此,解决双臂协同操作中的力度协调问题,对于生化实验室中多机器人系统的有效应用至关重要。


5 结论


本文首先介绍了当前智能生化实验室中前沿的多机器人技术,包括基于多模态融合的位姿估计技术、利用大模型推理进行的位姿估计方法、基于强化学习的多机器人任务与运动规划技术。


此外,本文还探讨了基于大语言模型的规划技术和多机器人交互控制技术,这些技术在提升智能生化实验室操作效率和精准度方面发挥着重要作用。


随后,本文详细解释了智能生化实验室的典型案例,分析了这些案例中的关键技术应用和取得的成效。


最后,总结了智能生化实验室的发展趋势,探讨了未来在实现高效、智能、协同操作方面所面临的挑战。


来源:CAAI认知系统与信息处理专委会






声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
机器人
more
重磅!上海交大、千寻智能、清华大学等机构提出无状态策略攻克机器人空间泛化难题!
开普勒人形机器人K2大黄蜂开启量产
【AI加油站】机器人设计系列二十三:《神奇的机器人》揭开机器人的神秘面纱:从结构原理到未来展望的全方位探索(附下载)
【免费样品+有奖小调查】金升阳助力机器人行业电源国产化!免费样品+填问卷赢好礼双重福利!
中国工业机器人 “王者” 揭晓!十大企业榜单出炉,榜首年收破百亿,这些关键信息藏不住!
【AI加油站】机器人设计系列二十二:深度解析《神经网络与机器人科研项目申请与实践》:从理论创新到项目落地的全方位指南(附下载)
日本计划明年试制纯国产人形机器人
十余家主流企业参编-具身智能复合机器人蓝皮书即将发布!
IFR《2025 世界机器人报告》:中国工业机器人存量破200万,全球第一
【机器人】又一人形机器人企业冲击10亿美元融资
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号