ゼロショット学習 (Zero-shot learning = ZSL) は、モデルが初めて遭遇する概念の分類や結果の予測を可能にすることにより、膨大なラベル付きデータを必要とする従来のアプローチとは一線を画しており、機械学習に革命を起こしています。このガイドでは、ZSL がどのように機能するのか、そのアプリケーション、少数ショット学習 (Few-shot learning = FSL) との比較、課題と将来の可能性について説明します。
ゼロショット学習 (ZSL) とは？
ZSL では、機械学習モデルが未知のカテゴリについて、そのカテゴリの特定の学習例を必要とせずに予測を行うことが可能になります。すべてのカテゴリを明示的に表現しなければならないラベル付きデータセットに大きく依存する従来の教師あり学習モデルとは異なり、ZSL は知識を一般化するために、意味埋め込みや属性などの補助情報を活用します。
たとえば、動物を分類するために訓練された教師あり学習モデルは、それらを認識するために「犬」、「猫」、「シマウマ」のラベル付き例を必要としますが、動物画像で訓練された ZSL モデルは、事前の例に触れなくても、「縞模様」や「馬のような」といった記述属性に基づいてシマウマを識別することができます。このため、ZSL は、大規模でラベルなしのデータセットを含むタスクや、ラベル付きデータの収集が現実的でない状況で特に有用です。その応用範囲は、コンピューター ビジョン、自然言語処理 (Natural language processing = NLP)、ロボット工学など多岐にわたります。
ZSL の仕組み
ZSL モデルは、まず大規模なラベル付きデータセットで事前学習し、ナレッジベースを作成します。モデルはラベル付けされたデータから、色、形、感情などの特徴を含む補助情報を抽出します。
次に、これらの特徴を使って既知のカテゴリ (またはクラス) と未知のカテゴリ (またはクラス) の間の意味的関係をマッピングします。知識の転移と呼ばれるこのプロセスにより、ZSL モデルは、たとえばアヒルとガチョウはどちらもくちばし、羽、水かきを持っているため関連している、と理解することができます。
最も一般的な手法は、属性ベースの ZSL、意味埋め込みベースの ZSL、一般化 ZSL です。以下で、それぞれを掘り下げていきます。
属性ベースの ZSL
属性ベースの ZSL モデルは、コンピューター ビジョンのタスクに最もよく使われます。このモデルは、人間がラベル付けした画像のデータセットで学習することで機能します。ラベルは、ラベル付けを行う人間が有用と考える属性で構成されます。各画像に対して、色や形などの特徴をテキストで記述します。
たとえば、画像の分類では、「灰色」「4 本足」「犬」といった属性が異なるカテゴリを表現するとします。トレーニングを通じて、モデルはこれらの属性を特定のカテゴリと関連付けるように学習します。
モデルに新しい例、たとえばこれまでに見たことのない種類の動物を見せると、そのクラスがトレーニングで見たクラスと似ているが同一ではないかどうかを見出すことができます。
モデルが未知のカテゴリ、たとえばオオカミに遭遇した場合、たとえ「オオカミ」というラベルがトレーニングで明示的に使われていなかったとしても、学習済みのカテゴリと共有される属性を分析することによって、そのクラスを推測することができます。これらの人間に解釈可能な属性は、説明可能性を向上させ、モデルによる新しいクラスの汎化を可能にします。
意味埋め込みベースの ZSL
このアプローチは属性ベースの ZSL に似ていますが、人間がトレーニングのために属性ラベルを作成する代わりに、モデルがトレーニング データの「意味埋め込み」(“semantic embeddings”) と呼ばれるものを生成します。この意味埋め込みは、ベクトル (現実世界のオブジェクトを数学的に表現する方法) として符号化され、埋め込み空間にマッピングされます。
埋め込み空間は、関連する情報をより近くにグループ化することで、モデルが文脈知識を整理することを可能にします。たとえば、「犬」と「オオカミ」のカテゴリは、意味的特徴を共有しているため、埋め込み空間では、「犬」と「鳥」のカテゴリよりも互いに近くなります。これは、大規模言語モデル (LLM) が、意味の相似によって同義語をクラスタリングするために意味埋め込みを使用する方法と似ています。
モデルに未知のカテゴリ (別の言い方をすれば「モデルが遭遇したことのない新しいデータ」) が与えられると、モデルはそれらの新しいクラスのベクトルを同じ埋め込み空間に投影し、既知クラスのベクトルとの間の距離を測定します。これにより、モデルは未知の例に対するコンテキストを与え、既知のクラスと未知のクラスの間の意味的関係を推論することができます。
一般化 ZSL (GZSL)
ほとんどの ZSL 技法は、ある種類のデータでモデルを訓練し、それを別の関連する問題に適用します。これが「ゼロ ショット」の概念です。モデルは、新しいクラスに遭遇する前に、そのクラスの例に触れることはありません。
しかし、実世界での応用は必ずしもそこまで白黒はっきりとはしていません。ZSL モデルに分類させたいデータセットには、既知のクラスと新しいクラスが混在している場合も考えられます。
問題は、従来の ZSL モデルは、新しいクラスと既知のクラスが混在すると、新しいクラスを既知のクラスと誤分類する強いバイアスを示すことがあるということです。そのため、トレーニングで既に見たことのあるクラスが含まれる可能性のあるデータセットに一般化できる ZSL モデルがあると便利です。
一般化 ZSL では、モデルは既知のカテゴリへのバイアスを減らすために追加のステップを踏んでいます。分類を実行する前に、まず該当するオブジェクトが既知のクラスに属するか未知のクラスに属するかを決定します。
ゼロショット学習と少数ショット学習、ワンショット学習の比較
ZSL と同様に、少数ショット学習 (Few-shot learning = FSL) とワンショット学習 (One-shot learning = OSL）では、ディープ ラーニング モデルが最小限、あるいはまったく新しいデータなしでの新しいタスク実行が可能になります。3 つのアプローチともに、未知の例におけるパターンを推測するために、既知の例の特徴間の関係をマッピングすることに依存しています。これらの主な目標は、データが乏しい、あるいは特定のタスクのために新しいモデルを訓練する時間がない実世界のシナリオで効果的なモデルを作成することです。
重要な相違点は、新しいデータの扱い方にあります。
- FSL では、識別する必要のある新しいクラスについて、少数のラベル付き例をモデルに与えます。
- OSL はより特殊なケースで、モデルには新しいクラスのラベル付き例が 1 つだけ示されます。
FSL も OSL も、ZSL に比べて追加の学習ステップを必要とするため、新しいタスクを学習するのに必要とする時間が長くなります。しかし、この追加の学習により、モデルの事前学習された知識から大きく逸脱したタスクにも対応できるようになり、実際の適応性が高まります。
ZSL は、新しいタスクに対してラベル付けされた例を必要としないため、しばしば「柔軟性がある」と見なされますが、この柔軟性は主に理論的なものにすぎません。実世界のアプリケーションでは、ZSL 手法は以下の場合に苦戦することがあります。
- 学習済みの例と見たことのない例が混在するタスク (一般化 ZSL シナリオ）
- モデルの学習データと大きく異なるタスク
ZSL モデルは、事前学習や評価時のデータセットの分割方法などの要因にも敏感で、パフォーマンスに影響を受ける可能性があります。一方、FSL と OSL は、新しい例を学習プロセスに組み込むことで、より実用的なタスク適応の柔軟性を提供し、多様なシナリオでより良いパフォーマンスを発揮できるようになります。
ゼロショット学習とゼロショット プロンプトの比較
ZSL は、さまざまな深層学習タスクのために設計されたモデル アーキテクチャの一種です。対照的に、ゼロショット プロンプトとは、ChatGPT や Claude のような LLM に、その応答を導くための具体例をプロンプトで提供することなく、アウトプットを生成するよう求めることを指します。どちらの場合も、モデルはタスクの内容を明示的に例示されることなくタスクを実行します。
ゼロショット プロンプトでは、タスクに関連する例をモデルに提供しません。その代わりに、LLM の学習済みの知識に頼ってタスクを推測し、実行します。
たとえば、レストランのレビューのテキストを入力し、参考となるサンプルのレビューを提供することなくそれをポジティブ、ニュートラル、ネガティブに分類するよう LLM に依頼するとします。LLM は、事前学習に基づいてレビューの適切なラベルを決定します。
ZSL とゼロショット プロンプトは、例なしでタスクを実行するというコンセプトを共有していますが、重要な違いがあります。
- ゼロショット プロンプトは、LLM との対話に特化した技術であり、モデル アーキテクチャではない
- ZSL は、そのようなタスクのために構築されたモデル アーキテクチャの一種
ZSL の応用
ZSL は、ディープ ラーニング モデルの新しいタスクへの適応に重点を置いているため、コンピューター ビジョン、NLP、ロボット工学など、機械学習の多くの分野に応用できます。ZSL は、たとえば以下のようにヘルスケア、センチメント分析、カスタマー サービス、ドキュメント翻訳、サイバーセキュリティなどで使用できます。
異常検知
ZSL はサイバーセキュリティの分野で使用され、ネットワーク アクティビティの異常なパターンを検出したり、新しい脅威が出現したときに新しい種類のハッキング攻撃にラベルを付けることができます。
センチメント分析
ニュース速報が発生した際、ゼロショット NLP モデルが一般のコメントに対してセンチメント分析を実行し、一般の人々の反応をほぼリアルタイムで見ることができます。
多言語ドキュメント処理
英語で書かれた税務ドキュメントから情報を抽出するためにトレーニングされたゼロショット NLP モデルは、追加のトレーニングなしでスペイン語の税務ドキュメントに対しても同じ抽出処理ができます。
医療診断
ZSL モデルは、COVID-19 患者のレントゲン写真を視覚的な例なしに識別するために使用されています。この識別は、現場で働く医師が作成した、陽性のレントゲンがどのように見えるかについてのテキスト記述に基づいています。
よりニュアンスのわかるチャットボット
ZSL の NLP モデルは、ユーザーとのチャット中に遭遇したことのないスラングや慣用句を理解することができ、特別に訓練されていない質問に対しても、より意味のある返答ができるようになります。
ZSL の利点
従来の教師あり学習アプローチは、大規模なデータセット、学習時間、費用、計算リソースを必要とするため、多くの実世界のアプリケーションでは非現実的であることが多々ありますが、ZSL はこれらの課題を軽減することができます。その利点には、新しいモデルのトレーニングに関連するコストの削減や、データが乏しい、あるいはまだ利用できない状況への対処が含まれます。
費用対効果の高い開発
教師あり学習で必要とされる大規模なラベル付きデータセットの取得と管理には、費用と時間がかかります。クオリティの高いラベル付きデータセットでモデルをトレーニングするには、サーバー、クラウド コンピューティング スペース、エンジニアのコストに加えて、数万ドルのコストがかかります。
ZSL は、研究機関が追加トレーニングなしに新しいタスクのためにモデルを再利用できるようにし、機械学習プロジェクトのコストを下げることができます。また、小規模な組織や個人でも、他の人が構築したモデルを再利用することができます。
少ないデータで問題を解決
ZSL は柔軟性に富んでいるため、利用可能なデータが少ない状況や、データがまだ出現途中の状況にも適したツールです。たとえば、情報がまだ普及していない新しい病気の診断や、情報が急速に進化している災害状況などに有効です。ZSL はまた、アナリストが処理するにはデータが多すぎる場合の異常検知にも有用です。
ZSL の課題
ZSL は、新しいカテゴリに一般化するのに十分なカテゴリ間の意味的関係を理解するために、事前学習段階で高品質な学習データを持つことに大きく依存します。クオリティの高いデータがないと、ZSL は信頼性の低い結果を出す可能性があり、時には評価が難しくなります。
ZSL モデルが直面する一般的な問題には、既に学習したタスクと異なるタスクに適応する際の問題や、未知のクラスを予測する際に特定のラベルに過度に依存してしまう学習データの問題などが挙げられます。
ドメイン適応
ZSL モデルは、これまで学習してきたものと劇的な相違のないドメインからの新しいデータを扱うよう要求された場合に、最高のパフォーマンスを発揮します。たとえば、静止画で訓練されたモデルでは、動画の分類は難しくなります。
ZSL モデルは、未知のデータからの補助情報を既知のデータにマッピングすることに依存しているため、データソースが違いすぎると、モデルは新しいタスクに知識を一般化することができません。
ハブネス問題 (特定のクラスに予測が集中する問題)
少数ショットから学習するタスクでは、モデルに学習させる例の種類によって、モデルの応答が例と一致しすぎることがあります。たとえば、感情分類タスクを実行するようモデルに要求しているにもかかわらず、5 つの肯定的な例と 1 つの否定的な例から学習するようモデルに与えた場合、モデルは新しい例を肯定的とラベル付けする可能性が高くなってしまうかもしれません。
2025 © Grammarly Inc.
「Zero-Shot Learning Explained: The Future of Machine Learning Without Labels」
Grammarly は、英作文中の文法的な誤りやスペルミスの修正、表現やスタイルの改善をリアルタイムで提案してくれるクラウドベースの英文校正ツールです。ビジネス ドキュメントや学術論文、クリエイティブな文章など、さまざまなスタイルに対応しています。
Grammarly Pro および Grammarly Enterprise では、上記の機能と組織全体のナレッジを組み合わせることで、優れた成果を発揮します。ドキュメントやメッセージ、メール、SNS など、日常業務で使用するデスクトップ アプリや Web サイト間で活用でき、チームや組織全体での英文コミュニケーションの改善を支援します。
最新の技術情報をお届け！エクセルソフト ニュースの購読お申し込みはこちらから。
