在当今快速发展的数字化时代，人工智能技术正成为推动各行各业创新转型的关键力量。大模型生态的发展日益完善，各项技术均在不断进步和创新。人工智能技术的发展路径目前呈现出两种技术路线：一类是通用领域大模型，通过极大参数的训练，不断提升模型通用能力；而另一类则是在垂直领域应用，追求对现有行业应用软件进行“最后一公里”改造。
相较于通用大模型，垂直领域的AIGC应用需要解决模型针对性、确定性、精准性和安全性的问题，同时客户更重视投入的产出比，因此需要在有限算力投入下解决精准计算的问题。这给中科软这类ISV提供了广阔的业务机会，为了进一步探索和实现AIGC技术在垂直领域的深度应用，中科软近期成功举办了为期两天主题为“开源软件/产品基座下的垂直AIGC平台（MaaS）及组织协同实施”的专题技术交流活动。
垂直领域AIGC模型应用需要“小而精”，采用小规模的模型作为底座，对向量集的规模（长度）做“减法”，从而专注于精确的语义表达，能够更有效地与行业应用软件的语义空间相匹配，不仅减少了对计算资源的需求，降低成本，而且提高了数据处理的精确度，这对于解决行业应用软件中的特定痛点至关重要。同时，为了提高实用精确度，模型推断（归纳推断）要与已有应用软件系统群的精准体系（演绎推断）混合集成使用。具有行业应用软件经验的头部ISV是“小而精”MaaS系统的主要践行者，头部ISV通过形成联合体，将相关技术向现有客户迁移，发挥其在技术实现和业务软件系统重构中的关键作用。
本次交流会荣幸邀请到来自华为、腾讯、浪潮、智谱、神州数码等行业生态伙伴以及中国人寿财险、大家养老、瑞众人寿、大地财产、华泰人寿、和泰人寿、中韩人寿、中国渔业互助保险社、泛华金控集团、中国疾病预防控制中心、中版集团新华联合物流中心、北京大兴发展融达融资担保有限公司等各行业客户的技术专家，以及中国科学院软件研究所、中国科学院自动化所等科研机构的专家参与方案评审，共同探讨AIGC系统方案在行业应用软件领域的前沿实践与应用。
► 中科软AIGC系统方案
公司各事业群在各领域垂直AIGC平台研发应用的实践过程中，积累了较多经验及解决方案，场景涵盖保险领域客服、营销、理赔、核保、培训，以及非保险领域数据审计、公共卫生、院前急救、纪检监察、交通运输等智能化应用，目前部分解决方案已在客户端落地。同时今年中科软在模型微调、精准RAG知识库、可视化LLM编排、监控分析等领域的技术具有进一步突破，使得大模型可以让知识提取更加准确、意图识别更清晰、检索结果更加精确。在本次技术交流活动中，寿险-保险AI应用开发平台、财险-垂直AIGC平台（MaaS)两项方案获评本次技术交流活动优秀方案：
► 寿险-保险AI应用开发平台
大模型生态的发展日益完善，各项技术均在不断进步和创新。但是目前已有的基础大模型很难直接应用于各行业领域。通用大模型在理解、执行、生成、持续进化、多模态的能力上已经相当成熟和突出，但是它缺少企业所具有的领域知识、专业工具以及专家决策的能力。同时，大多数企业往往算力有限，而对于数据安全有极强的要求。自建大模型成本较高、通用大模型在行业问题专业性、数据安全性方面存在问题，因此开源大模型的微调与应用实践是目前的主要方向。在这一方向上碎片化、周期长是两个比较突出的问题。碎片化表现在面临多种通用模型的选择、多类硬件设备的适配、多种开发框架的集成。周期长主要是微调、评估、应用的过程需要反复调试。
中科软以面向平台开发为核心，深入探索保险AI应用开发流程化、工具化、平台化的全流程解决方案，帮助企业客户更简单、更高效地走到AI应用开发的道路上，让AI应用开发全民化、规模化。保险AI应用开发平台，将大模型与多种编程语言和框架集成，使其能够为不同领域的开发者提供支持。提供开放的API和扩展性，以便用户可以根据自己的需求定制和扩展平台的功能。提供常用开源基座大模型，可以根据不同场景情况进行选择，并可满足随时调整替换。提供各种预先构建的模板和代码库，以帮助用户快速启动项目。用户可以轻松地根据自己的需求定制和扩展这些模板。可视化编程界面，让用户通过拖放组件和设置属性来构建应用程序。可以根据用户的需求和操作提供实时建议和指导。为用户提供云端、私有化部署和管理功能并进行监控和维护，对数据、脚本、资源进行回收。
平台具备三大特性：一、“平凡”开发，通过平台搞定集成和扩展，成为串连算力、模型、资源的总线，通过面向平台的开发变“平凡”为“不凡”；二、定制化、模版化提升开发速度，做到即拿即用，有效减少算力无效损耗，降低开发成本；三、简化部署、强化管理，将数据、脚本、服务器等宝贵资源进行有效的管理和回收。整体平台应用架构分为环境层、组件层、代理层、应用层四层。环境层：兼容不同型号硬件、集成基础环境能力、提供基础框架使用；组件层：组件层是平台功能的仓库，提供所有原子服务能力，涵盖了数据处理、在线开发、模型训练、部署推理全过程；代理层：将各组件统一装载，支持本地大模型、开源大模型以及商用大模型的切换，支持各类微调方法扩展，兼容各类开发框架；应用层：将提示词、知识库、工具、大模型等串连起来构建成Agent，利用多个Agent相互协作来产生更好的应用效果。
模型训练的过程实际上是一个面向基础环境的开发过程，集成不同的硬件如英伟达、华为昇腾，不同的软件框架TensorFlow、PyTorch、MindSpore，从面向基础环境的开发转变为面向平台开发是构建企业AI应用开发体系的第一步。整体系统通过K8S集群管理，支持Milvus向量数据库存储。开发框架、推理框架集成JupyterLab、LangChain。通过底层的兼容集成来屏蔽大模型应用开发过程中的复杂性。
规划设计平台适配器让AI应用开发真正“快”起来。开发过程中只需要关注主方法和参数配置。通过模型适配、微调适配、开发框架适配、GPU/NPU适配完成相关作业调度。
以镜像的方式来管理不同版本环境，提供pytorch cuda、mindspore cann基础镜像，并可远程调用算力服务器。集成JupyterLab支持多工作环境选择、支持vs code扩展远程开发。通过预置的参数指导，可视化编排可以快速构建一个训练任务，一键执行。支持设置定时任务重复调度。人工智能在保险领域的应用为保险公司带来了巨大的机遇和挑战。我们也将持续迭代保险AI应用开发平台，兼容更多类型的基础环境、提供更便捷的训练过程管理能力，为人工智能技术在保险行业的广泛应用和深入发展投入绵薄之力。
► 财险-垂直AIGC平台（MaaS)
中科软深耕财产保险信息化二十多年，可帮助客户基于领域业务需求进行AIGC基座选择，提供词根表、样本程序等知识推动人工智能的语义空间收敛于行业应用软件，实现精准计算，加大对领域的赋能。
凭借在财险行业应用软件和AIGC技术研究方面的深厚积累，我们成功构建了基于开源软件产品基座的垂直AIGC平台，实现了从知识库构建到AI助手快速搭建的全链条技术转移，为客户提供了从基座选择到AI应用触达的一站式服务，并在保险客服、营销、风控等多个场景中实现了成功的落地实践。
在ToB市场中，模型的应用面临一系列特定挑战：模型需高度裁剪、低算力环境高效运行、数据安全等，这促使我们开发出了“低配基座”即半成品模型，以便客户或ISV能在此基础上补充训练和调优，以最大化场景的适用性。要实现这个目标，就要求与已有行业应用软件系统群的语义空间对齐，基于以上背景，为用户落地更多领域应用场景，提供更为灵活的应用探索模式，仍有较多痛点及瓶颈问题需要解决：
中科软针对如何实现模型能力在保险垂直领域的众多场景中落地，总结提出了垂直AIGC平台（MaaS) 的整套解决方案，如图所示。无论是构建AIGC场景输出还是模型服务能力的管理，平台都提供了一系列的API、工具及策略，为用户提供训练、部署和使用模型的一站式解决方案。同时，方便、快捷的机器学习模型部署和使用方式，使用户无需关注底层的模型训练和推理过程，只需调用相应的API接口进行模型的集成和使用。平台可划分为基础设施层、工具平台层、模型生态层、数据沉淀层、AIGC工程化体验平台层及开放平台层等多个层次。包含了工程化策略、服务安全、评价体系、协同实施、AI-IDE及行业参考模型，让模型与领域场景实现真正“双向奔赴”。
在MaaS平台中，基础设施层包含了算力适配、各类模型及基座服务，其中算力适配提供了多种云适配和硬件支持，并为模型提供了容器化和服务化的部署；各类模型和基座服务通过适配引擎为 MaaS平台提供了各方面功能支撑，功能包含了应用构建、知识管理、模型管理三大方面，并为企业的各岗位用户提供了明确且清晰的操作指导路径规划和目标。各企业用户可根据场景需要构建出不同的智能体，通过1个或多个智能体，形成不同的落地应用，为用户带来了更为灵活的应用探索。平台核心部分的适配引擎，可大大降低用户的使用成本，让用户无需关注底层技术和基座之间的差异性，同时也为生态合作伙伴或第三方基座软件/产品提供了触达应用场景的“最后一公里”的快速通道。
在本次技术交流会上，与会的专家评委们充分肯定了中科软在AIGC领域的技术研究和应用实践。特别是在垂直AIGC领域的应用上，中科软能够准确把握行业特点和需求，开发出针对性强、实用性高的AIGC解决方案，为推动整个AIGC技术的发展和应用做出了积极贡献。同时，多位行业资深专家明确表示了进一步深化合作的愿望，希望共同探索AIGC技术的更多可能性，实现技术与行业需求的深度融合。此外，专家们对此次技术交流活动给予了高度评价，认为这次活动不仅为公司内部员工搭建了一个技术交流的平台，而且促进了行业内外专业人士之间的思想碰撞、经验分享和合作机会的探索。
未来，中科软将不断深化与各方的交流，为客户提供更为智能、高效的行业应用软件解决方案，引领行业发展的新趋势。
