（ポスター説明）
タイトル 日本手話のデータ収集　日本手話学習ゲームの開発に向けて
応募者　つじもと　まさや、たかき　けん、あんどう　あすか、やの　ういこ、すずき　みさ、Kai Kunze、おおせき　ようへい、Thad Starner、かわはら　よしひろ
所属　つじもと、たかき、かわはら　東京大学大学院工学系研究科
あんどう　東京大学多様性包摂共創センター
やの　関西学院大学，
すずき　Gallaudet University
Kunze　慶應義塾大学
おおせき　東京大学大学院総合文化研究科
Starner　Google DeepMind

はじめに
ろう児（聴覚に障害をもつ子ども）の9割は、きこえる親のもとに生まれます[引用1]。そのため、親子間で手話によるコミュニケーションが取れず、子どもが「言語剥奪」や家庭内での疎外感（ディナーテーブル症候群）に陥ることがあり[引用2]、社会的な孤立や精神疾患などの問題につながるケースも少なくありません[引用3,4]。解決のためには、きこえる親が手話を学ぶ環境を整備する必要がありますが、日本手話を学習する場所が限られているという現状があります。東京大学とGoogle との社会連携講座「AI相利共生未来社会講座」の一環として行っている「PopSign JSL: A game for teaching parents of deaf kids Japanese sign language」の共同研究を通して、その問題の解決を目指しています。

私たちが目指す手話学習ゲーム
いつでも。どこでも。
手話を実践しながら学ぶ。
参考資料として、PopSign ASL（アメリカ手話単語学習ゲームアプリ）[引用5]の画面が表示されている。

実現のために
日本手話の大規模データがないので、まずは日本手話の大規模なデータ収集が必要
データ収集のプロセスが図で書かれている：ステップ１語彙の選定、ステップ２手本の作成、ステップ３大規模なデータ収集

１．語彙の選定
手話での教育経験が豊富なろう者とコーダ（きこえない親をもつきこえる子ども）が協力し、親子のコミュニケーションに必要な約270の言葉を選定しました。

２．モデル手話動画の撮影
ろう者によるモデル手話の撮影。複数の4Kカメラや深度カメラを備えたスタジオで、モデル手話動画を撮影しました。
写真：モデル手話動画の撮影の様子

３．日本手話のデータ収集
20名の協力者（日常的に手話を使うろう者）にタブレットを配布し、手話単語のデータを収集しました。参加者は、ランダムに表れる270個の手話単語を、20回ずつ撮影します。協力者は、自宅などで、好きな時間にデータ収集に協力することができます。
写真：データ収集の様子

今後の展望
日本手話学習のためのゲームの開発に向けて、きこえる親が楽しく手話を学ぶためのヒントを得るために、「ワークショップ」の開催を計画しています。
ワークショップには、ゲームクリエイター、ろう児の子育て経験のあるきこえる親、ろう者、手話通訳者が参加し、「こんな手話学習ゲームがあったらいいのに！」の実現を目指します。
その他にも、ろう児が第二言語である日本語を学ぶための「手話→日本語」AI辞書の開発や、将来的には、手話話者と音声言語話者間の会話での障壁を取り除く技術の開発を目指します。
私たちの研究は、すべての子どもたちに『ことば』が届く社会を共創します。
ワークショップのフロー図：
ワークショップ１（2時間）、過去の経験やニーズの聞き取り、どんなゲームで手話を学びたかったか？
プロトタイプづくり：簡単にゲームを作成する
ワークショップ２：実際にゲームを使ってもらい、フィードバックをもらう
ゲーム改善：フィードバックをもとにさらにゲームを改善する

参考文献
[1] D. F. Moores, Educating the Deaf: Psychology, Principles, and Practices, 5th ed. Houghton Mifflin, 2000.
[2] A. R. Lederberg and V. S. Everhart, “Communication between deaf children and their hearing mothers,” J. Speech Lang. Hear. Res., vol. 41, no. 4, pp. 887?899, Aug. 1998.
[3] A. T. Glasner and K. Miller, “Communication isolation as reported by a group of deaf Texas inmates,” Western Criminology Review, vol. 11, no. 1, pp. 39?51, Jul. 2010.
[4] J. Dammeyer, “Psychosocial development in a Danish population of children with cochlear implants and deaf and hard-of-hearing children,” J. Deaf Stud. Deaf Educ., vol. 15, no. 1, pp. 50?58, Jan. 2010.
[5] T. Starner et al., “PopSign ASL v1.0: An Isolated American Sign Language Dataset Collected via Smartphones,” in Advances in Neural Information Processing Systems, vol. 36, pp. 184-196, Curran Associates, Inc., 2023.

（ポスター概要/日本語）
タイトル：日本手話のデータ収集　日本手話学習ゲームの開発に向けて
キーワード：日本手話、AI、共創
伝えたいこと：東京大学内でも、日本手話のような少数言語を対象に研究が行われていることを可視化することで、学内の研究テーマの多様性を伝えたい。また、聴者・ろう者、国籍、ジェンダー、学内外に関わらず、多様な人が研究に関わっているという、「共創」を体現しているチームが学内にあることも伝えたい。
どのような意識の変容をもたらしたいか：共創や協働は、一見大きなことに聞こえるかもしれないが、多様な人が研究に関わることの意義を理解したり、お互いを尊重したりするなど、個々の意識の変容で実現することができること。
応募団体についての紹介：東京大学とGoogle との社会連携講座「AI相利共生未来社会講座」の一環として行っている「PopSign JSL: A game for teaching parents of deaf kids Japanese sign language」チーム
氏名：つじもと　まさや、たかき　けん、あんどう　あすか、やの　ういこ、すずき　みさ、Kai Kunze、おおせき　ようへい、Thad Starner、かわはら　よしひろ


（ポスター概要/英語）
Title: Japanese Sign Language (JSL) Data Collection: Towards the Development of a JSL Learning Game
Keywords: Japanese Sign Language (JSL), AI, Co-creation
What we want to convey: We want to highlight the diversity of research topics at the University of Tokyo by showcasing that studies on minority languages, such as Japanese Sign Language, are being conducted. We also want to communicate the existence of a team on campus that embodies "co-creation," involving a diverse group of people?including hearing and deaf individuals, people of various nationalities and genders, from both inside and outside the university?who are engaged in this research.
The change in awareness we want to bring about: While "co-creation" and "collaboration" may seem like large-scale endeavors, they can be realized through individual shifts in awareness, such as understanding the significance of having diverse people involved in research and fostering mutual respect.
Team/Project: The "PopSign JSL: A game for teaching parents of deaf kids Japanese sign language" team, part of the "AI for Social Good Collaborative Course," a joint initiative between the University of Tokyo and Google.
Name：　TSUJIMOTO Masaya, TAKAKI Ken, ANDO Asuka, YANO Uiko, SUZUKI Misa, KUNZE Kai, Oseki Yohei, STARNER Thad, KAWAHARA Yoshihiro