当人工智能参与大学录取审核或银行贷款决策时，系统崩溃或被黑客攻击会带来什么后果？欧盟《人工智能法案》正试图通过法律手段解决这些问题，但具体落地仍面临技术挑战。
欧盟《人工智能法案》（AIA）将直接影响人们生活的AI系统归类为“高风险”（HRAIS），例如学生录取评估工具、信用评分系统等。这类系统一旦出错或被恶意操控，可能导致教育机会不公、金融歧视等严重后果。法案第15条要求它们必须具备“鲁棒性”（Robustness，即抗干扰能力）和“网络安全”（Cybersecurity）——就像要求银行金库既要防撞锤破坏，也要防黑客入侵。
研究人员发现，法案中“确保系统在干扰下保持性能”的要求，在实际操作中存在模糊地带。以机器学习模型为例：当输入数据被人为添加细微干扰（如图片中肉眼不可见的噪点）导致系统误判时，这算不算“鲁棒性不足”？目前法案尚未明确这类技术细节的判定标准。
对于“通用人工智能模型”（GPAIMs，如大型语言模型），问题更复杂。它们的多用途特性使得风险难以预测——同一个模型既可能用于写诗，也可能被滥用来生成诈骗邮件。法案第55条试图对此类模型提出安全要求，但如何平衡灵活性与安全性仍是难题。
论文指出，当前机器学习领域的三项发展正考验着法案的可行性：
对抗性攻击：黑客可能通过精心设计的输入欺骗AI系统（比如让自动驾驶将停车标志误认为限速牌）。
数据漂移：现实世界数据变化可能导致训练好的模型失效（如疫情后消费习惯突变影响信用评估模型）。
模型透明度：越复杂的AI越难解释其决策逻辑，这使得验证安全性如同检查黑箱。
法案要求欧盟委员会制定统一标准和测试方法（第15条第2款），但学术界与监管机构需要更紧密协作。例如：
法律中的“系统可靠性”需转化为具体的数学指标（如模型在噪声环境下的准确率阈值）；
网络安全条款应考虑“漏洞修复周期”等技术现实——就像手机系统需要定期更新补丁。
研究团队建议建立动态调整机制，使法律要求能跟上技术迭代速度，而非成为僵化标准。
虽然这些讨论看似专业，但最终关系到：
求职者不会因AI简历筛选器的漏洞被错误淘汰；
患者能信任AI医疗诊断系统的稳定性；
消费者数据在AI处理过程中不会被恶意窃取。
法案的实施将促使企业投入更多资源提升AI安全性，相关成本可能影响产品价格，但相比社会风险，这种投入被认为是必要的“技术保险费”。