高视AI大模型GoMind-LVM V1.0 正式发布
一、背景 -- 工业AI质检
随着中国制造业的快速发展,工业质检的智能化升级成为了行业关注的焦点。2023年,中国制造业增加值规模达35.2万亿元,占GDP比重28.1%,较2021年有所增长。制造业的数字化、智能化转型也在全面提速,重点领域关键工序数控化率达57.8%,数字化研发设计工具普及率达76.5%。国家多部委联合印发的《关于以制造业为重点促进外资扩增量稳存量提质量的若干政策措施》,进一步推动了制造业的发展。
然而,工业质检智能化升级过程中仍面临诸多挑战。首先,数据缺陷和样本缺乏是一个主要问题。缺陷样本数据量的不足会提高技术应用的门槛,使得AI系统难以进行准确的缺陷识别和学习。其次,技术准确性、泛化能力需要进一步提高。在AI赋能的质检场景中,提升缺陷识别的准确率和降低误检率是关键,以减少企业的人力成本。此外,技术推广和应用也面临挑战。工业互联网作为支撑制造业智能化转型的重要组成部分,还需要加快核心技术产品的攻关和推广,以支撑完整的工业互联网生态。
尽管面临这些问题,市场对工业质检智能化升级的需求依然强烈。90%的制造企业正在推进工业互联网建设,预计到2025年,工业互联网市场规模将达到3万至3.5万亿元。未来,随着技术的不断进步和政策的持续支持,工业质检的智能化升级将为中国制造业的高质量发展奠定更加坚实的基础。
二、高视大模型架构
高视科技从数据获取入手,利用图像视觉技术和先进光学技术等手段,确保对产品和产品缺陷的科学、统一度量。我们建立了基于工业大数据的人工智能平台,打造了工业视觉通用大模型GoMind-LVM,以构建通用化的制造能力。此外,我们还研发了一系列核心软件和算法,基于此,我们推出了GoMind/GoInfo云平台,实现了数据管理和质量管理,形成了智能工厂管理、智能视觉装备、智能视觉器件、智能视觉系统等行业级智能化产品。
在数据集方面,我们通过多年的深耕积累,已经建立了庞大的亿级工业数据集,其中精细标注的数据达到上百万条。这些数据涵盖了多个行业,为我们构建数据模型奠定了坚实基础。未来,我们计划扩大数据集,将精细标注的目标数量提升至千万级规模,这将成为我们下一步工作的重中之重,也是进行大模型训练的关键基础。我们开发了专注于服务工业的大模型GoMind-LVM,通过分层开发方法,构建了基础大模型,以及针对特定行业应用的工业缺陷生成模型、工业缺陷辅助标注模型和工业缺陷检测模型。基于这些模型,我们形成了服务不同行业和检测场景的专用模型,实现了高效快速的检测。
![](https://nwzimg.wezhan.cn/contents/sitefiles2036/10181271/images/51271109.jpg)
图中展示了工业缺陷生成行业大模型的缺陷检出展示。通过该模型,我们能够在短短一个小时内,从一张样本图像生成上万张仿真缺陷图像,提高了缺陷生成效率80%。这种方法在获取缺陷样本方面非常有效,尤其在难以获取缺陷样本的情况下。我们对辅助标注大模型与市场上其他产品进行了对比,并对模型进行了优化,显著提升了分割的精确度,提高了效率200%,帮助我们快速进行产品标注。关于工业领域缺陷检测大模型,能够基于现有信息实现一分钟跨场景应用检测,极大地提高了模型的通用性和实用性。
三、高视大模型流程
在工业质检智能化升级的过程中,高视大模型流程展示了从数据采集到模型部署的全流程优化。通过先进的图像视觉技术和工业大数据平台,我们构建了GoMind-LVM大模型分级流程,根据使用场景,分为L0云端大模型,L1行业大模型和L2本地大模型,旨在提升质检效率和准确性。
首先,在场景化模型开发阶段,我们利用图像视觉技术和先进光学技术,确保对产品和产品缺陷的科学、统一度量,进行数据的采集和标注,结合L0云端大模型能力生成L1行业大模型,再通过蒸馏等技术手段提炼出来L2本地大模型,可以下发到现场进行模型迭代并上线稳定使用,保证现场AI模型使用的推理效率与生产节拍。
通过这一流程,样本收集和标注时间减少了80%,极大地提高了数据获取的效率,确保了模型在训练后不仅具备高度的灵活性,同时也拥有广泛的适用性和泛化能力。对于工艺流程相似的质量检测任务,基于GoMind-LVM大模型,利用一键迁移和自适应微调技术,实现了快速换型的能力,大大缩短了训练时间至几小时内,有效克服了由于缺陷形态多样性和产品型号频繁更换导致的模型泛化问题。
在模型部署方面,GoMind-LVM大模型的部署效率提升了85%,使得模型能够快速应用于实际生产环境中。此外,模型迭代过程中所需的人力节省了70%,显著降低了人力成本。通过云端管理平台,我们实现了模型的高效管理,模型管理效率提升了90%,确保了模型的持续优化和更新。
图中展示了高视大模型流程的具体步骤,从工厂本地的数据采集和处理,到高视云端平台的模型训练和部署,整个流程无缝衔接,确保了质检过程的高效和准确。通过这一智能解决方案,我们不仅提升了质检效率,还大幅度节省了资源,为工业质检的智能化升级奠定了坚实的基础。
四、基于高视大模型的质量闭环设计
在质量闭环方面,我们借助先进的大模型AI技术,结合现有的质量管理软件,创造了GoMind + Goinfo智能体的工业质量管理系统。这一系统实现了数据的全自动收集、模型的调整和部署,将原本繁琐的手动数据处理工作转变为高效的自动化流程。这项技术使工厂能够在不中断生产的情况下进行模型优化,显著提升了生产效率。我们还取得了一系列成功案例,如协助半导体Sic晶圆制造行业实现了AI+AOI闭环全流程,成功将过检率和漏检率控制在0.1%以内。另外,我们为Y客户实现了多厂联通的质量管理,合作效率提升了50%以上。对于H客户的项目,我们实现了从原材料到最终产品整个供应链的质量联通,实现智能质量管理。总的来说,我们在推动整个视觉检测和智能检测领域做出了大量努力。特别是在过去两年中,我们已经成功落地10个项目,为25家客户创造了总产值约2.5亿的价值。随着大模型技术的不断发展和成熟,我们将继续助力智能检测产业快速覆盖更多工业场景、行业和地区,走向国际舞台。
五、高视AI大模型行业应用案
随着IC制程工艺发展,检测量测重要性越发凸显。集成电路发展几十年来,工艺生产实现了高度自动化,但传统方式的半导体制程控制与良率管理瓶颈明显,比如有些工艺段仍然仍需大量投入人工Review和复判。而半导体缺陷种类多、工艺种类多,管理过程面临成本高、耗时长、不客观、溯源难等问题。在检测量测设备层面,应用大规模深度学习可以更好地建立以缺陷分类和分析(ADC)为核心的制程控制与良率管理,能够更早发现半导体工艺中的缺陷、有效缺陷分类与分析。
基于大规模深度学习系统,高视科技推出了GoMind-ADC(Automatic Defect Classification)产品系统,并在客户端得到良好应用和规模落地。从IGBT工艺、到先进封装工艺、到前道检测都有覆盖。GoMind-ADC 2.0 产品运用人工智能(AI)及机器学习技术,基于高视行业大模型GoMind-LVM, 搭配高效能的GPU计算能力,根据AOI设备或高分辨率缺陷检 视系统输出的图片或文件信息,依据Defect Code进行缺陷分类,可以将在生产过程中产生的不良问题,例如不良种类、 不良大小、位置等,进行综合计算和缺陷的自动分类;对一 些干扰因素,如环境干扰、设备故障等进行及时修正和改善, 避免不良品的继续产生。同时,也为后续的复判(Review)、返工(Rework)等操作提供指 导,提高效率,降低整个系统的不良率,及时减少复判和返工的工作量,显著提升缺陷辨识率、缺陷分类正确率。
例如在前道检测领域,高视科技就已积累了大量KnowHow数据,缺陷图像样本量达到千万张级别,为展开大型深度神经网络的研发提供了基础。同时,GoMind-ADC系统实现了创新的工业缺陷检测大模型,实现了Transformer模型应用和深度研发,在具体检测效果上实现了漏报与误报的大幅下降,保障了AI算法的鲁棒性和可扩展能力,尤其是在跨产品和跨设备上,GoMind-ADC仍然实现90%以上的分类准确率,系统展示了其大模型的卓越强悍迁移能力,是一般传统AI算法的5倍左右。
通过数据积累、标准定义和大模型训练三大步骤,高视科技的ADC解决方案极大提升了晶圆制造行业的检测效率,将交付周期从90天缩短至14天,已导入超过 50个工厂,累计升级设备数超过200台,Top30的客户覆盖率达到70%以上。