「来るべきAIハッカー」について

Foretify

2021.10.20

Foretifyブログ

この短い記事では、自動運転車については触れていません。内容は、複雑な社会技術システムが破綻する新たな状況を記述した新しい論文についてです。
そして、その検証上の意味合いについて話しています。

by Yoav Hollander | 24 April, 2021

Bruce Schneier氏は有名なセキュリティ研究者で、私はSchneier氏のブログを何年も読み続けています。私の記事では彼のことは触れません。というのも、彼はセキュリティについて語り、私は安全性(および一般的な検証)について語っているからです。しかし、この2つのテーマは時に重なることがあります。(詳しくはYoavの過去のブログ「Security research is pretty relevant for us」を参照してください)

論文:とにかく、彼は「The coming AI hackers」という50ページに及ぶ非常に読み応えのある論文を発表しました。以下は論文に対する彼の要約です。

ハッキングは、一般的にはコンピュータシステムに対して行われるものと考えられていますが、この概念はあらゆるルールのシステムに拡張することができます。税制、金融市場、あらゆる法律のシステムがハッキングされる可能性があります。このエッセイでは、AIがハッカーになれる世界を考えます。これはスペックゲーミングの一般化であり、社会、経済、政治システムの脆弱性や悪用がコンピュータの速度と規模で発見され、悪用されます。

これは本当に良い論文です。技術的なことは書かれていませんが、示唆に富んでいます。50ページ全部を読むことをお勧めします(Wired誌に掲載された彼の2ページの要約を読むことから始めてもいいのですが、論文自体の方がはるかに優れています)。

検証:この論文は、私たち検証担当者にとっていくつかの興味深い意味を持っています。 この論文は、社会技術システムの設計から生じる潜在的な問題について述べています。

コンピューターは、その複雑さゆえにハッキングされやすい。そして現在、あらゆるものがコンピュータになっています。車も、家電も、電話も、すべてがコンピュータです。金融、税制、規制遵守、選挙など、社会システムのすべてが、コンピュータとネットワークを含む複雑な社会技術システムです。そのため、あらゆるものがハッキングされやすくなっています。

重要なのは、これは主に「悪い人」の話ではないということです。「ハッキング」というと、人間が故意に抜け道を使って悪いことをするというイメージがありますが、この論文では主に、意図しない結果として「悪いこと」を引き起こす設計されたシステムについて述べています。

それ自体は私たちの庭にあるものなのです。これらは基本的に複雑なシステム設計のバグです。しかし、これらは経済学者がメカニズムデザインと呼ぶところのバグであることが多い、つまり、修正するには、より良い行動を生み出すためのインセンティブを変更する必要があることが多いのです。

本当に複雑なシステムのバグの発見:実際、彼の最後の(そして残念ながら短い)「ソリューション」の章では、可能性のある問題を見つけて修正するために、検証のような技術を使うことが提案されています(少なくとも、それらを「公にして、政策論争の一部にする」ことが提案されています)。

以前、社会技術システムの仕様バグについて長い記事を書きましたが、そこでは、なぜ世界に放つ前に「事前検証」が必要なのかを説明しました。(詳しくはYoavの過去のブログ「It’s the spec bugs that kill you」を参照してください)

私たちが話題にしているテクノロジーの中には、非常に強力なものがあり、そのテクノロジー自体が作動する環境を変えてしまうこともあるに違いありません。偉大な力には、元に戻すボタンが必要だと言われています。しかし、それはありません。精霊はときどき、それぞれの瓶に戻ることを拒否します。

複雑なシステム(税法、ソーシャルメディアシステムの設計、提案されている法案など)の抜け穴や危険性を見つけるために、カバレッジドリブン、シナリオベースの検証を本当に使うことができるのでしょうか?また、仮にできたとしても、そのシステムの設計に本当に影響を与えるのでしょうか?

確信はありませんが、試してみる価値はあります。この論文に書かれているような危険は、かなり近いうちにやってくるのです。



この記事は、Foretellixによるブログ記事を、株式会社バーチャルメカニクスにて翻訳加筆修正したものです。原文はこちら

Foretellix製品について詳しくはこちら

デモやお見積もりのご依頼はこちらから


※ 記載された会社名・商品名・製品名は、各社の登録商標または商標です

この記事のシェアはこちらから