1.概要
1.1.目的
Sapporo AI Labでは、2017年度より、AIによる社会課題解決手法の提案として「AI×手話プロジェクト」を実施しており、「ろう者（※耳がきこえなく、手話を第一言語として使用する方）」と「きこえる人」とのスムーズなコミュニケーション実現を目指し、AI手話翻訳サービスの開発を進めております。
1.2.AI手話翻訳サービスの概要
AI手話翻訳サービスは、「ろう者による手話」と「きこえる人による話し言葉」それぞれを、AIによってテキストに翻訳し、ディスプレイに表示することで双方向のコミュニケーションを可能にするサービスです。
※ディスプレイのイメージ：左手側に手話の翻訳結果、右手側に話し言葉の翻訳結果が表示されます。
1.3.プロジェクトメンバー
- 北海道大学 大学院情報科学研究科 山本 雅人 教授
- 北海道大学 大学院情報科学研究科 飯塚 博幸 准教授
- BIPROGY株式会社
- 公益社団法人札幌聴覚障害者協会
- 札幌手話通訳問題研究会
- 札幌市保健福祉局 障がい保健福祉部
- 大日本印刷株式会社
- Sapporo AI Lab
手話動画を認識し、AI技術によってテキストに翻訳する仕組みを北海道大学及びBIPROGY株式会社が共同で開発。札幌聴覚障害者協会や札幌手話通訳問題研究会、札幌市保健福祉局の協力を受けて、AI学習に必要となる手話動画の収集や、システムの実証実験に使うシナリオ構築などを行っております。
2.薬局実証実験（デモンストレーション）
2017年9月、ドラッグストアにおける商品の購入を活用シーン例として設定し、AI手話翻訳サービスのデモンストレーションを行いました。
あらかじめ決められたシナリオ・単語に沿って、ろう者ときこえる人とが手話通訳者を介さずにコミュニケーションをとるために手話動作をテキストへ翻訳する技術を確認することができました。
デモンストレーションにおけるコミュニケーションの流れ（一例）
3.区役所窓口などにおける実証実験
2023年2月、開発を進めてきたAI手話翻訳サービスについて性能測定や利用者満足度の調査、実用化に向けた課題点の洗い出しなどを目的として、札幌市の区役所窓口における実証実験を行いました。
実証実験は、札幌市北区役所保健福祉課窓口、札幌市東区役所保健福祉課窓口、札幌市視聴覚障がい者情報センターの3箇所で開催しました。
区役所には実証実験専用の臨時窓口を設置。札幌聴覚障害者協会から派遣されたろう者と、区役所で窓口業務を担当する職員に協力いただき、身体障がい者手帳の申請手続きなど、区役所窓口にろう者が来庁した際に行う一連のやり取りを実施しました。
実証実験におけるシナリオ（一例）
- あなたは、身体障害者手帳の住所変更をするために来ました。そのつもりで職員の質問に答えてください。
- あなたは、補聴器の新規申請に来ました。そのつもりで職員の質問に答えてください。
- あなたは、障がい福祉サービスの申請に来ました。そのつもりで職員の質問に答えてください。
2017年に行ったデモンストレーションとは異なり、使う単語を決めず、シチュエーションのみを指定した実証実験の中では、ろう者が使った手話の中にAIが学習していない単語が存在したり、周囲のノイズ（手話を行うろう者の背景や、服装など）が原因となって正しく翻訳されない場面もありましたが、手話のやり直しや使用する単語の変更などを行い、予定していた手続きを完了することができました。
実証実験には計29名のろう者及び3名の区役所職員が参加し、約8割が利用した感想を「良かった」と回答。また、9割以上が「サービスが実用化した場合は利用したい」と回答するなど、AI手話翻訳サービスに対する満足度・期待値が非常に高いことが確認できました。
また、同じ手続きを筆談で行った場合と所要時間を比較したところ、平均して半分程度の時間で手続きを終えることができ、システムを利用した区役所職員の全員が「AI手話翻訳サービスを利用した方がスムーズに手続きすることが可能」と回答するなど、システムの有用性を確認することができました。
同じ利用者が、同じ手続きをAI手話翻訳サービスと筆談で行った場合の所要時間の比較
今後の実用化に向けた課題と対応
今回の実証実験を通じて、自治体窓口におけるAI手話翻訳サービスの有用性を確認するとともに、システムが学習していない手話単語があったり、周囲のノイズに影響されることがあるなどの課題を確認することができました。今後も、語彙数の増加やノイズに強いAIアルゴリズムの開発など、AI手話翻訳サービスの実用化に向けた更なる改良を行い、ろう者ときこえる人とのスムーズなコミュニケーション実現を目指して参ります。
