DeepSeek-R1と: LLMの推論能力向上を目的とした強化学習【STYZ Tech論文抄読会】
DeepSeek-R1と: LLMの推論能力向上を目的とした強化学習
要約
DeepSeek-R1-Zero は、教師ありファインチューニング（SFT）なしで、大規模強化学習（RL）のみでトレーニングされたモデルであり、優れた推論能力を発揮します。RLを通じて、DeepSeek-R1-Zero は強力かつ興味深い推論行動を自然に獲得します。しかし、可読性の低さや言語混合といった課題が存在します。
これらの課題を解決し、さらに推論能力を向上させるため、私たちはDeepSeek-R1 を開発しました。DeepSeek-R1 は、多段階トレーニングとRL前の事前データ（Cold-Start Data）を組み合わせることで、より優れた推論性能を実現しています。結果として、DeepSeek-R1は推論タスクにおいてOpenAIのo1-1217と同等の性能を達成しました。
また、研究コミュニティを支援するため、DeepSeek-R1-Zero、DeepSeek-R1、および DeepSeek-R1 から蒸留（Distillation）した 1.5B、7B、8B、14B、32B、70B の6つの小型モデル（QwenおよびLlamaベース）をオープンソース化しました。
概要
DeepSeek-AIは、大規模言語モデル（LLM）の推論能力を向上させるための強化学習（RL）ベースのアプローチを提案し、DeepSeek-R1-ZeroとDeepSeek-R1の2つのモデルを開発した。
- DeepSeek-R1-Zeroは、事前学習なしで強化学習のみを用いたモデルであり、自己進化によって高い推論能力を示したが、可読性の低さや言語混合といった課題があった。
- DeepSeek-R1は、事前学習データを追加し、段階的な強化学習を実施することで、推論精度と可読性を向上させた。結果として、OpenAIのo1-1217に匹敵する推論能力を達成した。
また、DeepSeek-R1を小型モデルへ蒸留（Distillation）することで、QwenやLlamaをベースにした1.5B、7B、8B、14B、32B、70Bのモデルを開発し、優れた推論能力を維持した。
主要な貢献
強化学習のみでの推論能力向上
- 教師ありファインチューニング（SFT）を使わずに、純粋な強化学習を適用。
- 思考の連鎖（Chain-of-Thought, CoT）を自己進化的に学習し、推論能力を向上。
- 数学・コーディング・科学的推論タスクでのパフォーマンスが劇的に向上。
段階的な強化学習による最適化
- Cold Start（事前データ導入）→ 推論特化型強化学習 → SFT → RL最適化の多段階パイプラインを採用。
- これにより、高い可読性とユーザーフレンドリーな推論が可能なモデルへ進化。
小型モデルへの蒸留
- DeepSeek-R1を小型モデル（Qwen、Llama）に蒸留し、高い推論能力を維持。
- 蒸留後の14Bモデルが、QwQ-32B-Preview（最先端のオープンソースモデル）を上回る性能を発揮。
- 32Bおよび70Bの蒸留モデルが高精度な推論ベンチマークの新記録を樹立。
評価結果
数学・コーディング・推論タスク
モデル | AIME 2024 (Pass@1) | MATH-500 (Pass@1) | GPQA (Pass@1) | Codeforces (Rating) |
|---|---|---|---|---|
DeepSeek-R1 | 79.8% | 97.3% | 71.5% | 2029 |
OpenAI-o1-1217 | 79.2% | 96.4% | 75.7% | 2061 |
DeepSeek-R1-32B | 72.6% | 94.3% | 62.1% | 1691 |
- 数学タスク（AIME 2024、MATH-500）ではOpenAI o1-1217と同等の性能を発揮。
- コーディングタスク（Codeforces）では、96.3%の競技者を上回るスコアを獲得。
技術的アプローチ
強化学習手法（GRPO）
- Group Relative Policy Optimization (GRPO) を採用し、コストを抑えつつ大規模な強化学習を実施。
- 旧ポリシーの出力に基づき、新しいポリシーを最適化。
冷却学習（Cold Start）
- 初期のRL訓練を安定させるため、高品質なデータセットを事前に学習。
- ユーザーが読みやすいよう、思考プロセスと最終回答を明確に分離。
蒸留による小型モデルの高性能化
- 蒸留モデル（1.5B、7B、14B、32B、70B） を開発し、GPT-4oを上回る性能を実現。
- 例: DeepSeek-R1-Distill-Qwen-7B（蒸留版7Bモデル）がGPT-4o-0513より高い数学・コーディングスコアを記録。
議論と今後の課題
蒸留 vs. 強化学習
- 蒸留は高性能な小型モデルを作るのに有効。
- しかし、真の推論能力向上にはより強力な基盤モデルと大規模RLが必要。
失敗した試み
- プロセス報酬モデル（PRM）：精緻な中間ステップを定義するのが困難で、大規模RLには不向き。
- モンテカルロ木探索（MCTS）：探索空間が広すぎて最適化が難しく、大規模な検索が実用化できなかった。
今後の研究方向
- 一般的な能力の向上（対話、JSON出力など）
- 多言語対応（言語混合問題の解決）
- プロンプト最適化（Few-shotプロンプトが効果的でない問題の解決）
- ソフトウェアエンジニアリング分野での応用強化
結論
DeepSeek-R1は、純粋な強化学習によって大規模言語モデルの推論能力を大幅に向上させることに成功した。また、蒸留により小型モデルにもこの能力を転送可能であることを実証した。
特に、数学・コーディング・科学推論分野での性能はOpenAIのo1-1217に匹敵し、オープンソースLLMとしては最高水準となる。
今後の課題として、一般的なAI能力の強化、多言語対応、ソフトウェア開発タスクへの応用が挙げられる。
考察: DeepSeekとChatGPTの差異
アーキテクチャ・推論能力
DeepSeekは強化学習（Reinforcement Learning, RL）を主軸にしたトレーニング手法を採用。特に、数学的推論や論理的思考を強化するために最適化されており、自己進化的な学習によって高度な推論能力を獲得します。そして、DeepSeekは厳選された高品質なデータセットを使用し、それに強化学習（RL）を組み合わせることで、より論理的な推論が可能なモデルへと進化しました。そのため、特定の専門領域での精度が非常に高く、正確性が求められる業務や研究向けのAIとして適しています。
一方、ChatGPTは教師ありファインチューニング（Supervised Fine-Tuning, SFT）と人間のフィードバックを活用した強化学習（Reinforcement Learning from Human Feedback, RLHF）を組み合わせた手法を採用。これにより、自然な対話能力と幅広い言語理解力を備えたAIモデルに仕上がっています。ChatGPTは、膨大なインターネットデータを活用して学習されており、一般的な知識を持つ汎用型AIとして設計されています。ニュース記事、ウェブサイト、書籍など、多様なデータソースから学習しており、日常会話や文章生成のスキルが優れています。
DeepSeekは高度な数学的推論や論理的思考を必要とするタスクに強みを持つ一方で、ChatGPTは自然な対話や文章生成を得意とするAIであると考えられます。
適用分野
DeepSeekは、専門的な推論が求められる分野（数学・科学・コーディング）に特化しており、研究者や技術者向けのツールとして活用が期待されています。特に、以下のような用途に適しています。
- 数学の証明や論理推論
- アルゴリズムの解析
- プログラムのコード最適化
- 科学的な推論やシミュレーション
ChatGPTは、日常的な会話や汎用的な知識提供に強みを持ち、カスタマーサポートやコンテンツ制作、教育分野など幅広く活用されています。
- チャットボットやカスタマーサポート
- 記事作成や要約
- 語学学習のサポート
- ビジネス文書の作成
オープン性・透明性
DeepSeekは一部のモデルをオープンソースとして公開しており、研究者や開発者が自由に利用・カスタマイズできる環境を提供しています。特に、1.5B～70Bのモデルをオープン化することで、AI開発の民主化を進めています。
一方、ChatGPT（特に最新のGPT-4）は、クローズドなモデルとして提供されており、OpenAIが管理するAPIを通じてのみ利用可能です。これは、品質管理や安全性の確保といった観点でメリットがありますが、自由なカスタマイズが制限されるという側面もあります。
今後の展望と留意点
DeepSeekは、その急速な普及と技術的な革新性にもかかわらず、いくつかの倫理的問題が指摘されています。
第一に、DeepSeekが他社のAIモデルの技術を不正に利用しているとの指摘があります。具体的には、OpenAIの技術を無断で使用している可能性が取り沙汰されており、知的財産権の侵害に関する倫理的問題が浮上しています。
また、DeepSeekのAI技術が、外国政府による情報操作やサイバー攻撃、監視活動に利用される可能性が懸念されています。このため、いくつかの国では、政府機関でのDeepSeekの使用を禁止する措置が取られています。
さらにDeepSeekの利用規約によれば、ユーザーから収集した情報は中国国内のサーバーに保存されるとされています。これにより、ユーザーデータが中国政府によってアクセスされる可能性が懸念されています。特に、機密情報を扱うユーザーにとって、データのプライバシーとセキュリティに対するリスクが指摘されています。
これらの倫理的問題を踏まえ、DeepSeekの利用に際しては、データのプライバシー保護や情報の信頼性、知的財産権の尊重など、多角的な視点からの慎重な検討が求められます。
出典・参考情報とリソース
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
