ITにAIを組み込むとき、どうしても気になることがあります。
それは、AIの「意図せぬ不確かさ」を、どのように扱っていくのか、ということです。

旧来の考え方であれば、品質保証の立場から、不確かなAIは真っ先に排除されてきたと思います。
要件定義でも、まず「やりたいこと」が優先され、予期しない例外は後回しになりがちでした。

しかし、AIを中核に据えるとき、
この「意図せぬ不確かさ」を、これまでのソフトウェア工学だけで本当に引き受けきれるのでしょうか。
例外処理では吸収しきれない「揺らぎ」が残るとすれば、どのように扱うべきなのでしょうか。

後回しにした結果、折り合いがつかなくなって、やり直しになることも考えられます。
そうならないように、あらかじめ「責任設計」することが必要でしょう。

たとえば、ベンダーが開発したAIシステムを、非IT企業が運用する場合、開発責任と運用責任の線引きは、重要な工程になると思います。