本文作者比較了 Anthropic 最新推出的 Claude 3.5 Sonnet 模型與 OpenAI 的 O1-mini 模型,並針對 SQL 生成和 JSON 生成兩項任務進行了比較。
在 SQL 生成任務中,Claude 3.5 Sonnet 明顯勝出。其生成的結果更準確、格式更佳,而且生成速度更快、成本更低。
在 JSON 生成任務中,兩者各有優劣。Claude 更能符合初始指令的要求,但在修正錯誤時顯得固執。相反地,OpenAI 的模型在符合用戶指令方面表現較差,但在第一次嘗試時就能生成更優質的投資組合,並能正確處理諸如賣出所需的百分比變化等細節。
作者認為,雖然 Claude 3.5 Sonnet 和 OpenAI 的 O1-mini 模型各有優缺點,但綜合考量速度、成本和思辨能力等因素後,Claude 3.5 Sonnet (搭配適當的提示工程) 在日常任務中更具實用性,因此作者會選擇 Claude 3.5 Sonnet 模型。
翻譯成其他語言
從原文內容
medium.com
從以下內容提煉的關鍵洞見
by Austin Stark... 於 medium.com 10-22-2024
https://medium.com/@austin-starks/claudes-new-3-5-sonnet-outperformed-openai-s-o1-mini-i-m-shocked-58c9ee1993ea深入探究