現段階で最強のコーディングAIはGPT5.6Solだと考えているが、そこそこに高い。それなりの規模のものを作らせるとPlus(3000円/月)プランだとすぐに使い果たしてしまう問題がある。具体的にはPyとJS複合で、外部依存抜きで5万行、180万文字規模の個人制作プロダクトを題材とする。
なお巷で「Solはオーバーエンジニアリングが問題だ」とも言われがちだが、省略するようAgents.mdやその場の指示などで命じればきちんと従ってくれる。どこを略して良いか分かっていれば上手く使えるし、その判断力がない人はフルチェックで安全側に倒したほうが無難だろう。この点で優れたAIであると認識している。UIなどのグラフィックデザイン系能力はイマイチ。
これまでのSolとLunaの使い分け
今までは、Solで計画を立て、Lunaで実装し、Solで監査及び修正してから次のタスクに移っていた。
計画は最初にChatGPTのSolで全部立て、仕様書を作らせてダウンロードしプロジェクトフォルダに配置する。このためCodex側のリソースは原則使わない。作るものの規模にもよるが、私はだいたい2～5時間くらいチャットし続けてみっちり詰めておく事が多い。
あらかじめタスクを分割しておいて、各タスクで作るべきもの、達成条件を明文化してある。後から修正が必要になったらCodexのSolを使う。
連続する5タスクくらいをLunaに任せると、内容次第で大きくブレるが3000行程度の変動が入る。それをSolに確認させ、問題があれば修正し、次のタスクをLunaに、とやっていた。Solは最初にコード全体を把握させ、そこからフォークして別々の監査をさせている。
Lunaは常に最大(Max)、Solは基本的に高(High)を指定している。
問題はSolのリソース消費
ただ、これだとSolターンで週制限を10%前後も消費してしまう。序盤はそこまで消費しなかったが、完成が近づき複雑化するにつれどんどん増えていった。Lunaターンのリソース消費は週制限の1%ほど。
Solターンで平均して3点ほどのバグが見つかる。Lunaに監査させてみると2個しか見つけないことも多く、Solの使用は必要経費だと考えていた。
Solの観点をLuna用スキルに落とし込む
そこで今回試したのが、Luna実装直後の段階の隔離Git環境を用意して、Lunaに監査させ、Solの監査履歴との比較をSolにさせて、不足している観点を書き出させる手法。
これをスキル化し、もう一度隔離環境を復活させて、スキルを適用して改めて監査させ、また比較し、というのを何度か、複数の監査対象において繰り返した。
スキル本体には汎用の確認項目を入れて、プロジェクト固有の注意事項は別ファイル化してある。まぁそのあたりはスキルを作る際にSolが勝手に分けるだろう。
LunaでもSol級の監査ができるようになった
その結果、LunaでもほぼSolと同等で、試した限りでは同じ問題を発見できる監査&修正能力を獲得することが出来た。スキル作成で週制限の50%程を消費したが、Tiboのリセット予告が出たときに作ればそこまで負担はないはずだ。
当面はこれを用いてLunaだけで回し、おおきな一段落がついたところでだけSolに確認させる運用に変更しようと思う。
余談 Qwen3.8Maxの感想
先日まではQwen3.8Maxがキャンペーン価格で98%引きの激安だったため、Lunaの代わりにこれを使っていた。バグ発生率や、チャット誤読の少なさなどの体感としては、Lunaよりは賢いが、Solには全く及ばないとの感想。LunaとTerraの中間くらいではないだろうか。
ハーネス次第でLunaが実用的になることを考えると、個別に契約する価値はないだろう。今の料金なら使わない。
思考ログが明示的に指定しても英語や中国語になり、日本語がほぼ出てこない、生成結果は概ね日本語になるが時々中国語が混ざる、という難点もある。思考ログを随時読んで迷走を防止することはSolでも時々あるくらいなので、ここを気軽に読めないのはだいぶ低評価。
無意識に英語を読める人なら気にならないかもしれないが、私は気合を入れて頭を切り替えないと読めず、疲れやすくなる。対応不能ではないが、めんどくささを抱えて使うほどのコスパではなくなった。
Qwenは頻繁におべっかや感想を出してくるのも気になった。「とても良い指摘です」とか「大量の修正ですね」とかが1行目に頻繁に出てくる。そういうの良いからさっさと仕事してくれ、と思ってしまう。Solは黙々と作業を続け、忖度しない傾向が強いため信頼できる。
余談2 Lunaサブエージェント
Codexの設定ファイルをいじればLunaをサブエージェントに指定することができ、これをSolから呼び出すとの使い方も散見される。ただ公式としては非推奨と公表されているため、私は採用していない。
膨大なトークンを費やして各種実験を行っているであろう公式が非推奨と言うなら、それなりのデメリットがあるのだろう、と考えているため。今回に限って外れということもないとは言えないが、細かい検証をするコストがもったいない。公式推奨に従うのが全体としては無難であろう。
コメント