AIが書いたコードの「ムダさ」を測るものさし
Show HN: Parsimony – an open-source benchmark for how much code AI models add
💬 In one line
発表会に出したのは、AIモデル同士の実力比べで「余分なコードをどれくらい足してしまうか」を数える新しい採点方法。今までは「解けたか・解けないか」だけで、コードの質は見ていなかった。
✨ What it does
-
コードの「ムダさ」を公平に数える
AIが書いたコードが解けても、つけ足された部分が多いと後から直すのが大変。それを見える化できる。
-
既にある試験データを再利用
新しく試験問題を作らず、世界中の開発者がすでに公開している実例を活用して測定する。
-
誰でも見られる・試せるオープン
GitHubで公開されているので、自分でも別のAIで試したり、改良できる。
🛠 Who it helps
AI にプログラムを書かせる仕事をしている人や、AIの実力を比べたい研究者に向いています。「すぐに動く」だけじゃなく「あとから読みやすく直しやすいコード」を重視する人にも。
⚠️ Caution
まだ試作段階で、最新のAIについては作者が限られた量で試した結果しかありません。また、特定の難しい問題だけで測っているので、すべてのコード作成に当てはまるわけではありません。
🔗 Original
The write-up above summarises the original. See it for the exact details.
🔗 Related hubs and more new arrivals
The headline and summary are an AI's Japanese rendering of a page published by an individual or a small team. They can diverge from the original. For the exact wording, follow the link to the source. Terms of Use