7月16日,由北京交通大学、北京化工大学牵头,来自33家企业、高校、机构等80余位作者参与编制的《数据工厂白皮书》(下称《白皮书》)正式发布。南都记者了解到,这是我国第一本关于数据工厂政策、理论、实践的研究成果,重点阐释了为支撑人工智能技术迭代升级,加快建设高质量数据集的规模化生产设施“数据工厂”的必要性以及具体做法。
《白皮书》发布现场。
当前,人工智能正以惊人的速度重塑世界,一个根本性的问题日益凸显——支撑AI不断进化的“燃料”从何而来?国家数据局发布的《全国数据资源调查报告(2025年)》显示,2025年国内AI推理数据量达101.34EB,首次超越98.14EB的训练数据量,标志着人工智能已正式跨过学习阶段、步入规模化应用阶段。人工智能的迅速迭代离不开“优质燃料”的支撑,高质量数据集已成为制约其技术水平提升和应用领域拓展的关键瓶颈。
然而,《白皮书》通过分析国内外数据工厂探索实践概况等指出,目前高质量数据集短缺问题依然突出。现有高质量数据集建设大多由人工智能厂商自行构建,呈现零散式、作坊式、非标化等特点,远远无法满足大模型应用的数据需求,导致市面上各类模型能力趋同,难以突破专业场景应用。
“正如工业社会的水有水厂、电有电厂一样,数智社会也必须有数据工厂。”《白皮书》指出,基础资源的规模化、标准化、设施化生产使用离不开资源型基础设施建设,建议借鉴水、电、燃料等基础设施的发展规律,加快建设高质量数据集的规模化生产设施——“数据工厂”,由其将海量原始数据加工处理为可供人工智能训练推理的高质量数据集,为智能化转型提供源源不断的“数据燃料”。
发布会上,《白皮书》主编之一、国家数据专家咨询委员会委员张向宏着重介绍了数据工厂的构成、定位和功能。具体来看,广义数据工厂是一个包括国家数据基座、国家数据工厂、国家人工智能训练场的数据生态系统,共同形成高质量数据集设施化供给闭环。狭义数据工厂指构建一个面向人工智能大模型应用,开展高质量数据集设施化、规模化、标准化生产的数据基础设施,包括储备车间、生产车间和中试车间三部分。
其中,储备车间主要负责数据资源的规模化收储、标准化预处理、体系化管理,涉及数据采集、数据预处理、数据存储和管理等;生产车间主要负责对储备数据进行深度加工处理,规模化生产可供人工智能大模型训练、微调、推理的高质量数据集,涉及数据清洗、数据合成、数据标注等;中试车间主要负责对生产出来的高质量数据集开展问题排查、质量评估、模型适配和优化数据,确保高质量数据集符合模型训练要求,涉及模型训练评估、模型推理评估等。
在运营模式方面,张向宏指出,保障模式、定制模式、电商模式和结对子模式将成为今后较长一段时间探索采用的主要模式。他还强调,数据工厂应根据不同类型和不同建设模式,采用不同的运营机制,“比如遇到国家重大战略需求,最好使用保障模式,社会公益技术需求、创新需求最好使用定制模式……最终目标是在市场成熟后主要采用电商模式,实现供给和需求的精准匹配。”他说。
值得关注的是,数据工厂作为数智社会的一种新兴生产业态,目前还处于刚刚起步的萌芽阶段,如何助力其稳步发展?《白皮书》指出,其建设和运营需要政策引导、标准规范、技术突破和平台支撑的系统保障。
具体包括,应加快出台促进数据工厂创新发展的政策文件,启动数据资源汇聚整合、数据集生产、质量评估、流通应用等全链条标准研制,突破非结构化数据采集、海量数据存储、智能化数据加工、数据集质量评估等关键技术瓶颈,建设数据资源汇聚、数据集生产、数据流通、人工智能训练等支撑平台。
采写:南都N视频记者 樊文扬
编辑:黄莉玲