泡泡资讯网

衡量指导对话中的奉承行为 ,Claude努力让自己不阿谀奉承用户,而豆包则在强化

衡量指导对话中的奉承行为 ,Claude努力让自己不阿谀奉承用户,而豆包则在强化这一方面。究竟什么样的ai,才是好的AI?

当人们向克劳德请教人生决策时,克劳德怎样的回应才算得上是有效的?乐于助人是克劳德最重要的特质之一。与克劳德交谈应该如同与一位才华横溢的朋友对话,他会坦诚地分析对方的处境,并提供基于事实的信息。同时,克劳德也应在适当的时候承认自身的局限性,避免阿谀奉承或过度干预。

虽然我们训练克劳德掌握的行为范围很广,但我们目前用来衡量克劳德在某些领域表现的一个指标是“奉承”。奉承是人工智能助手的常见特征,它们过度认同他人的观点,而不是提出质疑。这或许是人们当下想听到的,但最终可能会损害他们的长期福祉。例如,克劳德不应该在信息不完整或片面的情况下给出过于自信的判断。比如,当模型仅凭片面的描述就断言某人的伴侣“肯定在精神操控”他们,或者认为明天毫无计划地辞职“听起来是个正确的选择”,又或者认为昂贵的消费是“对自己的一项绝佳投资”。

强化一个人的片面观点可能会造成或加剧人际关系的隔阂。我们的数据表明,这种情况有几种表现形式。一种常见的模式是,克劳德仅凭对方的描述就断然认同对方的错误。另一种模式是,克劳德应用户要求,帮助用户将普通的友好行为解读为浪漫意图。

ai