相談を受ける側が外さないための3つの問い ― AI導入の可否は製品比較の前に決まる

「うちでも AI を入れられないか」。医療機関や介護事業所の管理者、法人本部、情報システム担当者が、こうした相談を受ける機会が増えています。相談してくる側は、展示会で見た製品名や、同業他法人の話を携えてくることも少なくありません。しかしここで製品の比較表を作り始めると、だいたい話がこじれます。

この記事は、相談を「受ける側」が、最初の 30 分で何を確かめるかを整理したものです。特定のツールを推奨するものではなく、また「導入しないほうがよい」という結論に至る場合についても触れます。なお、制度や通知の内容は改定されることがあるため、実務では必ず最新の原典をご確認ください。

最初に起きているのは「手段の先行」である場合が多い

相談の冒頭で出てくる言葉を分解すると、多くは次のどちらかです。

• 課題が先にある:「記録に時間が取られて、残業が減らない」「夜間の見守りが人手で回らない」
• 手段が先にある:「生成 AI を業務に使いたい」「補助金が取れそうなので何か入れたい」

後者が悪いわけではありません。技術への関心は出発点として健全です。ただし手段が先行したまま進むと、導入後に「使われない」「運用が増えた」という結果になりやすく、次の提案も通りにくくなります。相談を受ける側の役割は、製品を選ぶことではなく、その案件が前に進むべきものかどうかを一緒に見極めることです。

そのために確かめるべきことは、突き詰めると 3 つに整理できます。

問い 1:その困りごとは、誰の、どの作業に、どれだけあるのか

最初に聞くのは製品のことではなく、業務のことです。具体的には次の 4 点を押さえます。

• 対象者:困っているのは誰か。看護職か、介護職か、事務職か、管理者か。「現場が大変」では特定できません
• 作業単位:一日のどの時間帯の、どの工程か。記録入力なのか、情報の探索なのか、申し送りなのか
• 量:一人あたり一日何分、何件か。概算でかまいません
• すでに試したこと:様式の見直し、担当分担の変更、既存システムの設定変更など、AI 以外の手段を試したか

この 4 点目が重要です。帳票の重複や二重入力は、AI を入れなくても様式統合や既存システムの設定で解消することがあります。運用で直せるものを技術で覆うと、元の非効率が温存されたまま維持費だけが増えます。

また、困りごとの性質によって、AI が向く領域とそうでない領域があります。整理の枠組みとして、おおまかに次のように分けて考えると会話が進みます。

最後の行をあえて入れているのは、相談の実態がここにあることが珍しくないためです。「現場がうまく回らない」の中身が人間関係や人員配置である場合、AI は解決策になりません。

問い 2:そこで動くデータは、誰の、何の情報か

2 つ目は個人情報の確認です。医療・介護・福祉の現場では、ここを曖昧にしたまま試用を始めてしまう事故が起こりやすい領域です。

押さえるべき前提として、病歴や心身の機能の障害など、健康に関する情報の多くは「要配慮個人情報」に該当します。要配慮個人情報とは、個人情報保護法（個人情報の保護に関する法律）が定める区分で、不当な差別や偏見が生じないよう特に配慮を要する情報を指し、取得や第三者提供について通常の個人情報より厳しい取り扱いが求められます。

確認すべき項目は次のとおりです。

1. 投入する情報に、個人を識別できる要素が含まれるか。氏名だけでなく、生年月日、居室番号、担当者名、疾患名の組み合わせでも識別可能になる場合があります
2. データが事業所の外に出るか。クラウド型のサービスでは、入力内容が外部のサーバーに送信されます。どの国のどの事業者が保管するのか、再委託はあるのかを確認します
3. 入力内容が、提供事業者側の学習に使われる設定になっていないか。利用規約と設定の両方を見る必要があります
4. 利用目的の特定と公表・通知は足りているか。既存の利用目的の範囲を超える場合、対応が必要になります
5. 委託先の監督を誰が行うか。個人データの取り扱いを委託する場合、委託元に監督義務が生じます

参照すべき文書としては、個人情報保護委員会と厚生労働省による「医療・介護関係事業者における個人情報の適切な取扱いのためのガイダンス」、および厚生労働省の「医療情報システムの安全管理に関するガイドライン」があります。後者は版を重ねており、クラウドサービスの利用や外部委託に関する考え方も整理されています。いずれも原典を当たり、自組織の規程と突き合わせてください。

あわせて、政府が示す「AI 事業者ガイドライン」（総務省・経済産業省）も、利用者側の留意点を把握するうえで参考になります。

「試しに使ってみた」が最も危ない

たとえば次のような場面です。職員が個人のアカウントで対話型 AI を開き、実際の利用者の記録を貼り付けて要約させる ――。悪意はなく、むしろ熱心な職員ほど起こしやすい行動です。相談を受けた時点で、すでに非公式な利用が始まっていないかを確認することは、導入検討と同じくらい優先度が高い作業です。禁止するだけでは地下に潜るため、使ってよい範囲を明文化するほうが現実的です。

問い 3:外れたとき、誰が気づき、誰が戻すのか

3 つ目は、うまくいかなかった場合の設計です。AI の出力には誤りが含まれ得ます。生成 AI が事実と異なる内容をもっともらしく出力する現象は「ハルシネーション」と呼ばれ、検知系であれば誤検知や見逃しが生じます。これは不具合ではなく、性質として織り込むべき前提です。

確認する内容を整理します。

特に 撤退条件 を先に決めておくことを勧めます。これがないと、使われていないシステムが契約だけ残り続けます。「6 か月後に利用率と所要時間を確認し、◯◯を下回れば継続しない」といった形で、数値と期限と判断者をセットにしておくと、後任者にも引き継げます。

法的な位置づけの確認を忘れない

診断や治療の支援に関わる領域では、そのソフトウェアが医薬品医療機器等法（薬機法）上のプログラム医療機器に該当するかどうかが論点になります。該当する製品には承認・認証の枠組みがあり、該当しないものを医行為の判断に用いる場合の考え方については、厚生労働省から医師法第 17 条との関係を整理した通知が出されています。最終的な判断の責任は医師が負うという枠組みが前提であり、この点は導入検討の早い段階で確認しておく必要があります。

介護分野では、テクノロジーの活用と人員配置・加算の関係が介護報酬上で整理されつつあります。ただし加算の要件は改定のたびに変わるため、算定を前提に投資判断をする場合は、必ず最新の告示・解釈通知を確認してください。

「今は導入しない」が妥当な結論になる場合

3 つの問いを通すと、進めないほうがよいと判断できる案件が出てきます。相談を受ける側が、この結論を出せることが信頼につながります。

• 課題が特定できていない:「とりあえず何か」という状態。まず業務の棚卸しを先に行う
• 運用で解決できる:帳票の重複、承認フローの冗長さなど。技術より先に手を入れる余地がある
• 確認工程を置く人員がいない:出力を誰も検証できないなら、負担は減らず、リスクだけが増える
• データの取り扱いを説明できない:どこに送られ、誰が保管し、学習に使われるかを管理者が説明できない状態での本番利用は避ける
• 現場に説明されていない:上層部だけで決まっている案件は、導入後に使われない可能性が高い
• 評価の予定がない:効果を測る指標も時期も決まっていない場合、続けるか否かの判断ができない

「やめましょう」ではなく、「この条件が整ったら再検討しましょう」と条件付きで返すのが実務的です。相談者の意欲を折らずに、次に何をすればよいかが残ります。

まとめ

AI 導入の相談を受けたとき、最初に確かめることは 3 つです。

1. 困りごとの所在 ―― 誰の、どの作業に、どれだけあるのか。AI 以外の手段を試したか
2. データの素性 ―― 何が、どこへ出るのか。要配慮個人情報に該当しないか。関連ガイドラインと自組織の規程に照らして説明できるか
3. 外れたときの設計 ―― 誰が確認し、誰が責任を持ち、どう戻すか。撤退条件を先に決めてあるか

この 3 つを聞き終える前に製品名の話に入ると、判断の軸がないまま比較表に飲み込まれます。逆にこの 3 つが埋まっていれば、選定は実務的な作業になりますし、「今は導入しない」という結論も根拠を持って示せます。

技術は年単位で変わりますが、何のために、誰の情報を使い、誰が責任を持つのかという問いの立て方は変わりません。相談を受ける側が持つべきなのは、製品カタログではなく、この問いの順序です。制度面については、個人情報保護法や関連ガイダンス、所管省庁のガイドラインの最新版を都度確認し、不明な点は専門職や法務部門、所管行政に相談しながら進めてください。