Finalists! @Craft Ventures AI Hackathon with two Neurotech guys

Craft Ventures 主催のAI Hackathonにてファイナリストに選出されました！

こんにちは、writerのKaiです。

先日、MindLandの CEOであるNaoさんと、この夏からNeuralLinkで活躍するAbhinavさんと共に、Craft Ventures主催のAI Hackathonに出場する機会に恵まれました。Craft Ventures主催ということもあり、AI開発の最先端に立つ人々が一堂に会し、技術と創造性を競い合う特別なハッカソンでした。

（左から、Kai, Naoさん, Abhinavさん)

会場の雰囲気は圧倒的でした。発表前の緊張感と期待感が交錯する中、参加者一人ひとりの情熱が空気を満たし、それと同時に会場が静寂で包まれる不思議な魔法のような場所でした。実際に、ファイナリストに選ばれたときは喜びと驚きでいっぱいで言葉に表せない表情をしてしまいました笑

数多くの参加者が競い合う中、私たちのチームがファイナリストに選ばれたときの驚きと喜びは筆舌に尽くし難いものがありました。私たちが開発したプロダクトは、「Voice for the Deaf」、つまり聴覚障害者向けのプロダクトです。

このプロダクトは、Apple Watchのジャイロスコープと加速度計を利用して手の動きを学習・分類し、それを単語に関連付けて言葉に変換するというものです。SVMを用いて機械学習を行い、分類精度も95パーセント以上を維持することができ、かなり実余生が高い結果となりました。今回のハッカソンでは五個の単語に分類することができました。今後の展開として、単純に分類分けの数を増やすことで手の動きで表現できる単語の数が増えると思われます。また、指先などの動きも感知できるEMGなども取ることでより精度の高い動きを表現できると思われます。

この技術は、大言語モデル（LLM）を付け加えることで、耳が聞こえない人々がコミュニケーションを取る手段を増やすことを目指しています。分類分けされた単語をリストに変換し、LLMに送ることで自動でセンテンスを作ってもらうことができます。手話言語と英語は文章構造自体が違うのでLLMにプロンプトで英語風に変換してもらうことで力を発揮します。

今回のAI Hackathonは、直接的に社会に貢献するプロダクトに取り組むことができ、大変有意義な体験でした。また、今後のAI特にLLMの活用方法などについてまた一歩深く知る素晴らしい機会でした。一緒に参加していただいた、NaoさんとAbhinavさんにはとても感謝しています。

これからもAIに関する最新情報を発信し続けますので、引き続きご支援とご期待いただければ幸いです。

with Finalists