自動運転による死亡事故でテスラ社が360億円の賠償命令を受けました。
裁判自体はまだ決着したわけではありませんし、今回の判決は懲罰的なものでかならずしも自動運転の事故によって毎回これほどの賠償金がメーカーに課せられるわけではないとは思いますが、今回の判例による開発側への影響はそこそこあると思います。
仕事としてAIと向き合っていると感じるのですが、ビジネス的にも法的にも責任が取れないAIの出力から生じた損失や過失を誰が負うのか？それが100%の精度がありえないAIを使用するうえで重要になってきます。
どんなタスクでもAIの間違いは問題になるのに、人の命に関わる自動運転での過失は、技術だけでは解決できない自動運転で使用されるAIモデルや周辺技術の開発における大きな問題だと私は考えています。
2014年に定義された自動運転のレベルのうち、レベル2が普及しはじめ、一部車両でレベル3が運用されているという状態ですが、私はたとえ技術的にレベル4 、レベル5の自動運転が開発されたとしても、AIが犯した罪の責任をだれがとるのか？という問題からレベル4以降の自動運転は一般には普及しないと考えています。
ということで完全自立型のレベル5の自動運転が実現しない理由を考えていきたいと思います。
レベル5が実現すれば事故の責任は全面的にメーカーに
完全自動運転（レベル5）が実現すれば、運転者は一切操作しません。つまりもし事故が起きたなら事故の責任は、運転者ではなくシステムを作ったメーカーに移ります。厳密に言えばレベル4でも自動運転を使用している際は事故の責任はメーカー側は取る必要がありますし、レベル3でも正常に運転手に運転を引きつぐことができなければメーカーの過失となる可能性はあります。
となると、これまでの交通事故は車体に致命的な欠陥がなければ運転手の責任だったのに、自動運転の使用時の事故は製造物責任（PL法）や欠陥による損害賠償がメーカーに直撃します。
特に死亡事故の場合は、自動運転システムが事故に関与した度合いに応じた賠償を求められる可能性があります。さらに、システムの開発時に不正や重大過失があれば刑事事件化し、役員や開発責任者が起訴・収監されるリスクもあります。
これは、自動運転システムの開発側の人間からするとかなり大きな問題で、自分の開発の間違い（場合によっては間違いがなくても）によって事故が起きれば逮捕されたり、訴えられる可能性が出てきます。
2. 日本の年間死亡事故と「9割減」シナリオ
警察庁統計によると、日本では2023年に約2,600人が交通事故で亡くなっています。
自分は正直、自動運転で事故が減るとは一概に言えないと思っています。むしろ、自動運転によって走行している車両と人間が運転している車両が混在しているタイミングでは事故が増えるかもしれません。
世の中の車両がすべて自動運転の車両に置き換わり、車体同士が連携して事故を防ぐようになって初めて事故が減ると思っています（根拠はないです）。ただ、AIが100%の精度で正常に動作することは絶対にありえません。やろうとしていることの難易度が高ければ高いほどそれだけミスが増えます。
仮にL5の自動運転が普及し、死亡事故が9割減少したとしましょう。それでも約260人は毎年日本で自動運転によって命を奪われます。
もし国内シェア30%のメーカーが販売した車両での事故が同じ割合で発生すると、260人 × 30% ＝ 約78件の死亡事故 に関する責任を、そのメーカーが負うことになります。
自動運転も改良されて徐々に事故の件数は減っていきますがこれはかなり楽観的なシナリオだと思います。どんなに技術が進歩してもゼロにはできません。つまり、完全自動運転時代でも数十件単位の死亡事故は現実的に残り続けます。
1件の死亡事故に対する賠償責任と収監リスク
死亡事故1件でメーカーが負う民事賠償について考えてみます。
- 葬儀費用：150〜200万円
- 死亡逸失利益（将来の収入補償）：数千万円〜1億円超
- 慰謝料：2,000〜2,800万円
- その他付随費用（治療費・物損など）
合計すると5,000万円〜1.5億円規模になることが多く、若年・高収入の被害者の場合はさらに増えます。
さらに、欠陥を認識していながら放置、不正な試験、危険な仕様を承知で販売といった重大過失や隠蔽行為があれば、
- 業務上過失致死罪（5年以下の懲役または禁錮）
- 関連法規違反（罰金刑や行政処分）
が適用され、経営層や開発責任者が刑務所に収監される可能性があります。これは過去の自動車や鉄道・エレベーター事故でも実際に起きています。ただ、これまでの事故とは違うのは自動運転の事故は車両自体が自身の判断で人を殺めてしまうことですね。
遺族の恨みが一番に向かう先はこれまでは運転者や運用者で、メーカーはたとえ過失があったとしても二の次ですが、自動運転はメーカーの製品である車両が”自律的”に事故を起こすので、家族を失った遺族は末代までメーカーを恨み続けることになるのではないでしょうか。
特に何らかの不具合がシステムにあった場合は開発関係者は遺族だけではなく社会からその責任を追及されることになると思います。しかし、自動運転という複雑なシステムのバグを完全に取り除くことはできませんし、複雑なAIモデルを使用するほどシステム全体の挙動を安定させるのは他のITシステムよりもはるかに難易度が高いです。改善と同時に新たな不具合が発生する可能性もあります。
年間で負う責任と倒産リスク
先ほどのシナリオ（年間78件の死亡事故）で、1件あたり平均8,000万円の賠償とすると、年間総額は 約62億円になります。金額としてはそれほど大きな額ではないかもしれません。
ただ、これはあくまで死亡事故だけの金額であり、重傷事故や物損、海外市場での懲罰的損害賠償を含めれば、総負担額は数百億〜数千億円規模になる可能性があります。それに、これはお金だけの話ではないと思います。命が係わる事故をお金だけで解決することはできません。関係者のメーカーに対する怨恨は永久に蓄積され続けます。
こういった事態が続けば
- 企業イメージの悪化
- 増え続ける裁判への対応
- 大規模リコール
- 海外での高額訴訟
という事態に直面し資本力のある最大手でも経営が傾くリスクがあります。
つまりL5の時代、メーカーは「車を売る企業」から「事故補償を背負う企業」へと立場が変わり、
安全設計・法令遵守・事故対応プロセスを構築し、とにかく事故をなるべく起こさない、起きてしまったら速やかに対処するという罪を背負い込まない体制を作らないといずれ倒産します。
AIの挙動に対する責任はユーザーである個人がとるべき
ここまでひたすら自動運転に対してネガティブなことを書いてきましたが、私は自動運転自体を否定しているわけではないです。むしろ、ドライバーを支援するレベル2の自動運転の精度が高まり運転手の負担は下がり、事故の件数が減っていくことに期待しています。
ただ、自分が言いたいのは技術的に自動運転の機能がレベル4やレベル5に達したとしても、自動運転のシステム自体依然として運転者が使用するツールであり、運転の主体者はあくまで自動運転のユーザーである運転手であるべきだと考えています。
私自身、自動運転の開発にかかわったことはありませんが、このようなAIの挙動の責任をだれがとるのかという問題は仕事をしていると頻繁に直面します。
例えば、ある精密部品の製品検査システムを開発し現場に導入した際にこの問題に直面しました。３か月間の検査システムの試験導入でこれまで通り検査員による検査と並行して画像処理AIによる不具合の検出を行って検出精度の比較したことがあります。結果は3か月間の間に3件だけ人間は見つけられた致命的な欠陥（確実に故障につながる）をAIによる検査システムが見逃していたというものでした。
たった3件と思うかもしれませんが、その部品は航空機にも使われる製品だったので、もしその致命的な欠陥により製品の使用中に何かしらの問題が起きた場合、誰が責任を負うのか？という議論になりました。
実際、検査員による検査でも毎日数百個出荷される部品の欠陥を見逃しているはずです。ただ検査員での検査では、今までその製品に対して賠償を請求されるようなトラブルはなく、もし何か問題があっても検査員やメーカー自身が責任を何らかの形で取るとのことでした。
しかし、検査システムが欠陥を見逃していることが発覚すればAI自体にその責任を追求することはできません。これまでも同様の欠陥を見逃している可能性もありますし、例えばリコールにつながるような事態が起きたときにメーカーに責任があるのか、システムを開発したこちらに責任にあるのかという話になってしましました。
開発側の我々がとるのは無理です。リスクが大きすぎますし責任を取る方法もないです。こんな重要な話が検査システムを開発したあとに出てきたのでプロジェクト全体に与える影響はかなり大きいものでした。
検査システムによってAIが検査した製品を当日の担当検査員の方が再検査することになりましたが、それでも業務効率化にならないということで結局その検査システムは運用されなくなってしまいました。
キャリアの最初期に経験したプロジェクトだったのでこの時のことは痛烈に覚えています。
それからもいくつもAIの挙動の責任はだれがという問題に直面してきましたが、AIはあくまでツールであり、AIが起こした結果の責任は直接的にそのAIを操作したユーザーがとるしかないという現状の私の答えです。
人格や法人格のようにAIに法的な権利を与えられない時点でこうするしかないと思います。ですから、どんなに自動運転が発達しても、交通事故の責任は運転手がとるべきです。そして、自分がまったく関与していない自動運転の走行による多額の賠償金を払ったり収監されるリスクを受け入れる人間はいないと思います。
というわけで、レベル3は実現するかもしれませんが、レベル4以上の自動運転が普及する日は来ないとは思いませんか？
この問題はもちろんメーカーも想定していると思います。自動運転を宣伝しているのはマーケティング的な戦略で、現場の開発者は静観しつつ地道にシステムの精度を高めているのではないでしょうか？実際、自動運転による訴訟が度々起こるようになってからレベル3以上の自動運転を提供するメーカーはほとんどありません。
ということで、ユーザーである我々もマーケティング的な情報発信に惑わされずに自動運転に関しては冷静な態度をとるべきだと思います。
それでは。
