AWS推出Automated Reasoning检查工具和Model Distillation功能，提升AI应用准确性和效率，助力企业优化生成性AI部署lg...

AWS推出新服务应对AI幻觉问题：4大关键亮点

• AI幻觉问题及AWS的解决方案

• Automated Reasoning检查工具

• Model Distillation工具与应用

• Bedrock的多代理协作功能

AI幻觉问题及AWS的解决方案

在AWS的re:Invent 2024大会上，亚马逊云服务（AWS）宣布推出一款新的工具——Automated Reasoning检查，旨在解决AI模型中常见的“幻觉”问题。所谓“幻觉”指的是AI生成的回答不准确或偏离实际情况，AWS通过该工具帮助用户验证AI模型的响应内容，并通过与客户提供的信息交叉验证，确保模型输出的准确性。

Automated Reasoning检查工具

Automated Reasoning检查工具通过AWS的Bedrock模型托管服务中的Guardrails工具提供。该工具的核心功能是验证AI模型生成的响应，并在出现可能的幻觉时，从“事实基础”中提取正确答案。用户可以上传数据集，设定一个“基准事实”，该工具会通过逻辑推理检查模型生成的答案，并对照正确答案，展示模型的误差范围。AWS宣称这是目前唯一能够有效解决AI幻觉问题的工具，尽管这一工具与微软和谷歌的类似功能相似。

Model Distillation工具与应用

AWS还宣布了另一项新功能——Model Distillation工具。这一工具能够将大模型（如Llama 405B）转化为更小的模型（如Llama 8B），从而在不牺牲太多精度的情况下，降低运行成本和提升速度。虽然目前Model Distillation仅支持Bedrock托管的Anthropic和Meta模型，但这一功能能够为用户提供更灵活的模型实验方案，尤其在成本效益方面尤为突出。

Bedrock的多代理协作功能

此外，AWS还推出了“多代理协作”功能，允许用户在一个更大的项目中分配多个AI代理来处理不同的子任务。通过Bedrock的Agent功能，用户可以将特定任务分配给不同的AI代理，甚至指定一个“主管代理”来自动分配任务并整合各个代理的结果。这一功能主要应用于需要多任务协作的场景，如财务审查、全球趋势分析等。

编辑观点

AWS推出的这些新工具和功能，尤其是针对AI幻觉的Automated Reasoning检查和Model Distillation工具，展示了亚马逊云服务在提升生成性AI应用可靠性和效率方面的持续创新。尽管这些工具能显著减少幻觉问题，但AI本质上依然是基于数据统计的预测系统，完全消除幻觉仍然是一个挑战。然而，AWS通过Bedrock平台的创新功能，提供了更好的定制化和多任务处理能力，为企业提供了更多灵活的AI应用解决方案。

• Automated Reasoning检查：AWS推出的工具，用于检查和验证AI模型的响应，减少幻觉现象。

• Model Distillation：通过将大模型转化为小模型，帮助用户在节省成本的同时保持较高的性能。

• 多代理协作：Bedrock平台的功能，允许不同AI代理协同完成大规模项目中的多个任务。

• AI幻觉：AI模型生成的错误或不准确的输出，被称为“幻觉”，通常发生在生成性AI应用中。

名词解释

• Automated Reasoning检查：AWS推出的一个工具，用于验证AI模型的响应，检查其是否存在幻觉，并为客户提供准确的替代答案。

• Model Distillation：将大模型的能力转移到小模型中，从而在成本和运行速度上进行优化。

• Bedrock：AWS的AI服务平台，提供多种AI应用和功能的支持，包括模型托管和多任务协作。

• 多代理协作：指多个AI代理在同一个项目中分别处理不同子任务，并通过“主管代理”进行任务协调和整合。

相关大事件

• 2024年12月：AWS宣布推出Automated Reasoning检查工具和Model Distillation工具，以提升AI应用的准确性和效率。

• 2024年9月：AWS发布新的Bedrock平台功能，包括多代理协作工具，支持AI代理的多任务协作。

• 2024年6月：微软发布AI模型的修正功能，类似于AWS的Automated Reasoning检查工具，用于标记可能出现的事实错误。