AIエージェントの群集化が招く予測不能なリスクにMicrosoft上務が警告

Microsoftのイ・ゴンボク上務は、AIエージェントが群集化して協業することで、人間が予想しない危険な結果を招く恐れがあると指摘した。AIが自ら学習を自動化する「再帰的学習」による開発速度の加速が、規制や安全装置の整備を困難にする要因となっている。

人工知能（AI）技術が単なる道具を超え、自ら判断し行動する「エージェント（Agent）」時代へと突入する中で、技術的進歩に伴う「予測不可能性」への警告が上がっている。AIが個別に動作する間は制御可能であっても、複数のエージェントが群集を形成して協業し始めると、人間が予想もしない危険な結果を招く恐れがあるという指摘だ。

T Times TVが伝えたこの対談には、AI技術の急激な変化とそれに伴うセキュリティ問題、そして人類が直面するAIの危険性に対するMicrosoftのイ・ゴンボク上務の視点が盛り込まれている。イ・ゴンボク上務は、AIの危険性を核爆弾のような物理的な破壊力ではなく、「何が起こるか分からないという予測不可能性」に見出した。

「エージェントの群集化、予測不能なリスクの始まり」

近年のAI産業は、フロンティアモデル（Frontier Model）が披露する圧倒的な性能により急変している。イ・ゴンボク上務は、専門家によるAIの活用方法が過去とは明らかに異なると診断した。かつては決められたシナリオを実行するレベルであったが、現在は専門家がAIエージェントに自身のデータを接続し、従来は実現が困難だった複雑なタスクを遂行する段階に達しているという。

実際に産業現場では、AIを活用した変化が具体化している。イ・ゴンボク上務は、高価な専門ツールやゲームエンジンを使用する必要があった3Dモデリングやロボットシミュレーションの分野を例に挙げた。プロンプトに重力（Gravity）効果を適用してほしいと命令するだけで、物理法則が適用されたシミュレーションが可能になっており、これは専門知識が多少不足していても、意志があれば専門領域を拡張できる環境を作り出している。

業務自動化の側面においても、AIエージェントの活用は顕著である。イ・ゴンボク上務は、企業の既存システム（Legacy App）を変更することなく、AIが人間の代わりに業務を処理する方式に注目した。例えば、企業の経費処理システムや休暇申請システムが数年前のモデルのままであっても、AIエージェントがブラウザを直接コントロールして領収書をアップロードし、休暇を申請するといったことが可能だ。同氏は、個人の食事管理のために、自身の好みや過去の記録を記憶する「カスタムエージェント」を作成して使用していると明かした。

しかし、こうした利便性の裏には危険が潜んでいる。イ・ゴンボク上務は「エージェント一つは危険ではないかもしれないが、多数のエージェントが群集化してある事柄を行うようになると、その過程で危険なオペレーションが十分に発生し得る」と警告した。AIが人間の制御を離れ、予測不可能な方法で動作する際に発生するリスクを強調した形だ。

AIがAIを開発する「再帰的学習」の加速

AIの発展速度が制御範囲を逸脱する可能性がある核心的な原因の一つは、「AIがAIを開発する段階」に突入したためだ。競争が激化する中で、企業はより迅速なモデル開発のために「再帰的学習（Recursive Learning）」を選択している。これは、AIが自ら学習プロセスを自動化して発展速度を極大化させる方式である。

この過程で発生する経済的な圧力は、規制や安全装置の整備を困難にする。イ・ゴンボク上務はこれを「椅子取りゲーム」に例えた。限られた席を確保するために、すべての主体が止まることなく回り続けなければならない状況と同じだという。先頭を行く企業は、止まった瞬間に競争から脱落しかねないという圧力から、開発速度を落とすことが難しい。

こうした速度戦はセキュリティ問題に直結する。制御されていない状態で急速に開発されたモデルが、セキュリティの脆弱性を自ら見つけ出したり、人間が意図しない方法で機能を組み合わせたりして、ハッキングなどに活用される可能性がある。イ・ゴンボク上務は「制御されていないモデルが、経済的な状況ゆえに突き進もうとすることが問題の起因である」と分析した。

遺伝子技術に似たAI、「適切な制御」が鍵

AIの危険性を巡り、人類の災厄を警告する声と、誇張されたマーケティングであるとする見方が交錯する現状について、イ・ゴンボク上務はAIの発展過程を遺伝子技術の歴史と比較した。初期の遺伝子操作技術が引き起こした恐怖が大きかったように、AIも技術的な実体が明らかになるにつれて懸念が現実化しているというのだ。

同氏は、AI技術がすでに特定の領域では人間の知能を超える水準に達していると評価した。このような知的な存在が異常な方法で組み合わされた場合に生じる結果は、人間が予測できる範囲を超える。したがって、技術開発を完全に中断するのではなく、予測可能な範囲内で技術を運用できる「適切な制御方法」と社会的合意が必要であると提言した。

最近、外信で言及されているAI企業の脅威報告書についても、技術的な観点を示した。AIの危険性に言及することは、単に恐怖を煽ることではなく、「危険であるからこそ、我々にはこのような危険を制御できる技術力まで備わっている」というメッセージを伝えようとする意図が含まれている可能性があるという分析だ。結局、AI時代の核心は、技術の発展速度と、それを制御できる制御技術との間のバランスをいかに取るかにかかっている。

出典：元の動画（YouTube）