モバイル端末で訓練をさせたい！ PyTorchを使った、インタラクティブに動くAI教材の開発
受講スキル
- 機械学習に興味のある方 - Unityでの開発経験のある方 - 機械学習をモバイル端末に導入したいと思っている方
受講者が得られるであろう知見
- Unityで機械学習を行う際の仕組み。特に、推論だけでなく訓練までモバイル端末で行いたい場合の仕組み。 - 機械学習をプロダクトに入れる際の企画面・技術面の課題や対処方法
セッションの内容
モバイル端末で推論・訓練の両方を行える機械学習の仕組みを導入し、実際にプロダクトの開発を行った知見に関して発表します。
モバイル端末で機械学習の推論を行う方法はUnity Barracudaを利用する、MediaPipeを組み込む等様々な方法があります。今回は、推論だけでなく訓練までモバイル端末で行えるようにPyTorchのC++版であるLibTorchを組み込むことによって、モバイル端末で訓練まで行うアプリを開発しました。
モバイル端末で訓練まで行うことにより、ユーザの発想次第で様々な応用ができると考えています。
今回実際に開発をしたプログラミング教育アプリPlaygramでは、子どもがプログラミングを学びやすいように、
- 現実をモデル化した3Dの見た目
- ブロックで直感的にプログラミングができるエディタ
- ステップバイステップでプログラミングの基本・応用を学べるチャプター群
を提供しています。
その中で、機械学習の仕組みを実際にコーディングをしながら学んでもらうためにAIチャプターを開発・リリースしました。
本講演では、AIチャプターを開発するための企画的・技術的な課題やその対処方法に関して詳細にご紹介します。
特に、下記についてご紹介します。
- モバイル端末で推論・訓練させるためのUnityでのアプリ開発の方法
- モバイル端末で機械学習をさせるための要件面での検討方法
- ユーザに提供する際のUI/UX面での検討事項
講演資料
※資料のダウンロードには ログイン が必要です。
講演者プロフィール
プロフィール
東北大学大学院情報科学研究科修士課程卒業後、株式会社DeNAに2014年に新卒入社。
リードエンジニアとしていくつかのゲームの開発に携わった後、2018年に株式会社Preferred Networksに入社。
機械学習を利用するシステムの開発やプログラミング教育ソフトPlaygramの開発等を行う。
最近は新規プロダクトのプロダクトマネージャー/エンジニアとして開発に携わっている。
過去の講演
CODT 2020「少人数チームでの機械学習製品の効率的な開発と運用」
CEDEC 2016 「1000万人が遊ぶFINAL FANTASY Record Keeperにマルチプレイを導入した話」
《講演者からのメッセージ》
プログラミング教育ソフトPlaygramへの機械学習の導入についてご紹介をします。
通常、モバイル端末で機械学習を行う際は推論のみを導入することが多いと考えられますが、
機械学習を実際に体験/学習させたいというPlaygramの特性上、モバイル端末で訓練までできる方法を
模索し、開発を行いました。実際の応用例やデモ等を紹介しながらご説明できればと思います。
興味のある方は是非ご来場ください。
プロフィール
株式会社Preferred Networks エンジニアリングマネージャ/プロダクトマネージャー
2019年に東京大学大学院情報理工学系研究科を卒業後、株式会社Preferred Networksに新卒入社。
当時新しく立ち上がった教育チームのエンジニアとなり、
初めてから学べるプログラミング教材「Playgram」の開発をはじめ、文科省「みらプロ」への教材提供や、社会人向けのプログラミング教育等に携わる。
現在は教育チームのエンジニアリングマネージャ兼Playgramプロダクトマネージャとして、企画・開発全般を行う。
《講演者からのメッセージ》
プログラミング教育ソフトPlaygramは、初めての人でもプログラミングやコンピュータサイエンスの基礎を学べる教材として自社開発を行うプロダクトです。
3D空間上で自由にプログラミングを学べるだけでなく、最近はAIを学べるチャプターも登場するなど、本格的な内容も充実してきました。
プロダクトの紹介と、機械学習等の背景技術について解説します。是非ご来場ください。
共同研究・開発者
中島 統太郎 (株式会社Preferred Networks)、小寺俊希 (東京大学 大学院情報理工学系研究科 修士2年)