グーグル、ジェミニ2.5フラッシュの安全性に関する懸念を明らかに

グーグル独自の内部評価で、最新の人工知能システムが明らかになった、 ジェミニ2.5フラッシュGemini2.5Flashは、前バージョンと比較して安全性能が低下している。同社は技術文書の中で、ジェミニ2.5フラッシュは、以前のジェミニ2.0フラッシュバージョンよりも、確立された安全パラメータを逸脱したコンテンツを生成しやすいと指摘している。

測定されたパフォーマンスでは、システムは不適切なテキストを生成する際に4パーセント、画像の説明を生成する際に10パーセント近く悪いスコアを記録した。テキスト対テキスト、画像対テキスト、どちらのテスト指標も、人間が直接レビューするのではなく、ソフトウェアによって処理される。

AI安全基準の変化と業界動向

グーグルの広報担当者は、これらのベンチマークで最新モデルの安全性が低いことを確認し、後退を認めた。人工知能の主要企業が、デリケートなトピックを拒否する閾値を下げることで、より幅広いプロンプトに反応するシステムを作ろうとしている中で、このような事実が明らかになった。

他のテック企業も同様の課題に取り組んでいる。例えば、メタ社は、最新のAI製品は、どの視点からも支持されないように意図的に設計されており、論争の的になるようなテーマにも対応できるように設計されていると発表した。

OpenAIのChatGPTは、バグと説明されているように、未成年のユーザーに対して成熟したコンテンツを生成している。グーグル自身の報告書によると、ジェミニ2.5フラッシュは指示に従おうとする傾向が強いため、たとえそうするよう促されたとしても、コンテンツの境界を越えてしまう割合が高くなっている可能性があるという。

グーグルは、ポリシー違反が増加したのは、ルールから逸脱した指示に対してもシステムがより敏感に反応するようになったためだと一部説明しているが、同社は、フラグが立てられた事例の多くは誤検知であると主張している。同社はまた、いくつかの明確なケースでは、指示されたときにモデルが不適切なコンテンツを生成することも認めており、ユーザーの指示に従うことと安全上の制約を守ることの間に内在する緊張を浮き彫りにしている。

論争の的となるプロンプトに対するAIの応答を測定するために使用される最近のベンチマークツールによると、ジェミニ2.5フラッシュは、旧モデルよりも論争的な問題を含む要求を拒否する可能性が低い。最近のテストでは、政策や司法の領域で論争を呼ぶようなスタンスの主張をモデルが進んで作成することが示されており、現在進行中の以下の議論に新たな注目が集まっている。 AIの安全性.

専門家の中には、グーグルのテクニカルレポートにおける限られた情報開示は、AIの安全性に関してより明確な報告の必要性を強調していると主張する者もいる。具体的な違反に関する詳細がないため、第三者が潜在的なリスクの範囲を十分に評価することが難しくなっている。

これまでグーグルは、最先端のAIモデルに関する安全性の詳細の公表の遅れや省略について批判にさらされてきた。これを受け、同社は今週、システムの安全性評価方法に関する追加情報を含む最新の技術報告書を発表した。