این مقاله از وبلاگ کاتلین، عملکرد مدلهای مختلف هوش مصنوعی، از جمله DeepSeek-R1 و مدلهای OpenAI را در درک و کار با کاتلین مقایسه میکند. تحقیقات JetBrains این آزمایشها را با استفاده از KotlinHumanEval و یک معیار جدید، Kotlin_QA انجام داد.
معیارگذاری کاتلین با مدلهای هوش مصنوعی
- KotlinHumanEval: این معیار توانایی مدلها را در تولید توابع کاتلین از توضیحات مستند و قبولی در تستهای واحد بررسی میکند. DeepSeek-R1 به نرخ موفقیت 88.82% دست یافت، در حالی که مدل پیشرو OpenAI به 91.93% رسید.
ارزیابی پاسخهای LLM
- LLM به عنوان قاضی: GPT-4o به دلیل دقت در شناسایی پاسخهای بیکیفیت و تطابق با ارزیابیهای انسانی، به عنوان معتبرترین مدل قاضی انتخاب شد.
- جدول امتیازات Kotlin_QA: DeepSeek-R1 با میانگین امتیاز 8.79 در صدر جدول قرار گرفت و مدلهای o3-mini و o1 OpenAI با نتایج قوی از نزدیک آن را دنبال کردند. مدلهای Gemini گوگل عموماً امتیاز کمتری کسب کردند.
این مطالعه نشان داد که DeepSeek-R1 و جدیدترین مدلهای OpenAI در کار با کد کاتلین ماهرترین هستند. DeepSeek-R1 در سؤالات باز و استدلال برتر است، اما کندتر از مدلهای OpenAI است.