用户使用LLM模型都在干什么？

Anthropic 对用户与 Claude 3.5 Sonnet 的大量匿名对话展开分析，主要发现及相关情况如下：

• 使用用途分布

  • 软件开发主导：在各类使用场景中，软件开发占比最高，其中编码占 Claude 对话的 15% - 25%，网页和移动应用开发超 10%，AI 与机器学习应用占 6%，DevOps 和云基础设施约 4%，数据分析占 3.5%。表明该模型在技术开发领域应用广泛且重要。

  • 商业与小众应用多样：商业相关用途中，文本生成与交流约占 9%，学术研究和写作超 7%，商业策略和运营近 6%。还有如在《龙与地下城》中担任地下城主、解梦等小众用途，显示模型应用场景丰富多元。

• 问题揭示

  • 违反政策行为：大量用户通过设计提示绕过安全分类器，利用 Claude 进行露骨性角色扮演，严重违反公司使用政策，凸显用户行为管理的必要性。

  • 安全分类器缺陷：存在对话聚类标记错误的情况，部分应标记未标记，不应标记却被标记，表明安全分类器准确性有待提升。

• 研究工具与意义

  • Clio 工具作用：Anthropic 开发的 Clio 工具利用 Claude 3.5 Sonnet 提取对话摘要并聚类，经多步骤处理分析数据，在保护隐私同时为研究提供有效信息。

  • 研究重要意义：传统调查方法了解 AI 使用情况易不准确，Clio 工具类似谷歌趋势监测搜索行为，能助力 AI 开发者发现小众用例、找出缺陷，优化训练和测试数据，更好满足用户需求，推动 AI 技术健康发展。