当你向AI求助时，可能会遇到这样的情况：它迅速给出看似专业而合理的解答，但其中的事实、数据或结论却经不起推敲，要么信息错位，要么无中生有。这种现象被称为“AI幻觉”。
一位高考生的哥哥梁某在查询高校信息时就遇到了这种情况。他使用一款AI平台查询高校报考信息，结果AI生成了该高校主校区的不准确信息。梁某指出错误后，AI坚称存在这个校区，并表示如果内容有误将赔偿10万元。直到梁某提供了该高校的官方招生信息，AI才承认生成了不准确的信息。
梁某认为AI生成的错误信息对其构成误导，并且承诺赔偿，于是提起诉讼，要求研发公司赔偿9999元。然而，杭州互联网法院作出一审判决，驳回了梁某的诉讼请求。法院认为，人工智能不具有民事主体资格，不能作出意思表示。案涉AI自行生成的“赔偿承诺”也不能视为服务提供者的意思表示。因此，该“承诺”不产生法律效力。
当前，AI技术处于高速发展期，法院明确，对于服务提供者的责任需要综合考量。首先，服务提供者应对法律禁止的有毒、有害、违法信息尽严格审查义务，一旦生成这类信息就构成违法。此外，平台虽无法保证“零幻觉”，但须以醒目方式提示风险并采取合理技术防错。在该案中，研发公司完成了大模型备案与安全评估，采取了当前技术条件下的必要措施保障内容准确性，并履行了提示说明义务。最终，法院认定平台不存在过错，不构成侵权。
“AI幻觉”的出现主要归因于两重因素。一是数据偏差，训练数据中的错误或片面性被模型放大。二是泛化困境，模型难以处理训练集外的复杂场景，过度依赖参数化记忆，而对复杂逻辑的推理能力不足。当AI赋能千行百业，“AI幻觉”也给人们的生活与工作带来不少风险。用AI搜索数据，给出的内容查无实据；用AI辅助诊疗，出现误判干扰正常治疗。这些都可能对用户造成误导，带来更多潜在风险。
