開発履歴／茉莉花
茉莉花
紹介
- 「まじかる☆マリオネット」の一体目のドール。
- （ゴーレムくんはプロトタイプなのでカウントしません）
- ボークス社の「DollfyDreamSister」のヘッドとボディに、モーターと電子回路とバッテリーを組み込んであります。
- DDS用の服をそのまま着られます。（靴や細身のパンツは無理……）
- 2002年の第一回ROBO-ONEを観戦した時に夢見た「この技術で喋って踊れる人形を作れそう」を少しずつ実現したいと思っています。
できること
- 話しかけられると、声や動きで応答します。
- （ちょっとだけ）歩くことができます。
- 天気予報の受け答えができます。
- Android端末上のアプリケーション、Webサーバと連動して天気予報を調べ、結果を合成音声で答えます。（「ライブドア天気情報サービス」を利用しています）
- インターネットの情報を使った「調べもの」ができます。
- NTTドコモのサービス提供終了で「調べもの」はできなくなりました。
「○○を教えて」と尋ねると、インターネットの情報から答えを探して合成音声で答えます。（「NTTドコモの知識Q&A API」を利用しています）
- Bluetooth経由で受信したコマンドに対して、任意の応答をすることもできます。
動画
- 「スマートホンのカメラを使った顔追尾」 (2019/06/30 NT金沢)
- 近くにいる人のほうに顔を向けて、首をかしげます。
- 茉莉花の背後にあるAndroid端末でGoogle Mobile Vision のFace API を使った顔検出アプリが動いています。
- （Face APIは端末内で顔検出の処理が可能で、ネットワーク接続は不要です）
- アプリは、一番近くにいる人の顔の位置を推定して、茉莉花の顔の向きを制御しています。
- Android端末のアプリと茉莉花の間は、Bluetoothを使って通信しています。
| 首の内部構造はツイート画像を参照。 首、肩、両腕を背中側から撮影(2018/07/06) 首部テスト動画(2018/07/06) 3Dプリントパーツ組み込み(2019/03/16) |
- 「お菓子くれないと、いたずらしちゃうぞ」 (2018/11/05公開)
| この時点では、首ヨー軸のモーターが未固定で、 顔を左右に向ける動作はできず。 |
- 「進捗どうですかぁ？」 (2018/03/31公開)
- 「茉莉花が最近できるようになったこと」 (2015/02/12公開)
- 「よちよち歩き」と「ネットでの調べもの」をまとめた動画です。
- 「茉莉花に会話機能を追加してみた」 (2013/07/31公開)
- 話しかけると返事をする会話機能、天気予報を尋ねると調べてくれる機能の動画です。
- 関連：2013年7月の日記
- 「CeVIOに茉莉花の声をあててもらった」 (2013/05/05公開)
- 音声合成ソフト「CeVIO Creative Studio」を使って、茉莉花の自己紹介に声をいれた動画です。
- 「茉莉花 自己紹介動画」 (2012/11/26公開)
- ようやく全身のモーターを制御できるようになって初動画。「お辞儀」をするだけですけど……
茉莉花 自己紹介動画 at 2012/11/26- 関連 2012/11/26の日記
機能
- 2015/03/14時点
- 二足歩行：前進（速度: 3m/分）、歩行中に左右旋回
- 2014/07/31時点
- インターネット上の情報を使って質問に答える
- 音声認識した質問を、NTTドコモの「知識Q&A API」に渡して回答を得ています。回答をOpenJTalkで音声データに変換して喋っています。
- ※機能自体は1月にできていたのですが、回答文と引用元を画面に表示する処理を実装したのが7月……。
- インターネット上の情報を使って質問に答える
- 2013/09/17時点
- 二足歩行：前進（速度: 2m/分）、左右旋回
- 2013/07/31時点
- 音声認識による動作
- 音声認識： Google Androidのクラウド音声認識(SpeechRecognizer API)を利用。
- 音声出力： CeVIO Creative Studio(FREE版)を利用して事前に合成した音声
- 天気予報の受け答え
- 天気予報データ：ライブドア 気象データ配信サービス(Weather Hacks)より取得。
- 音声出力： OpenJTalkを利用したWebサーバ上のプログラムにより動的に合成音声を生成、これをAndroid端末で取得し再生。
- 音声認識による動作
仕様
- 人形の他に、Bluetooth SPPに対応したAndroid端末(Ver. 4.0以降)が必要です。
- 2019/06/30時点
- 身長： 47cm
- 体重：1240g
- ヘッド：ドルフィードリームオプションヘッド（DDH-01アイホールオープン）
- ボディ：ドルフィードリーム シスター（M胸）
- 可動軸数：22（両腕6軸、両脚12軸、胴体1軸、首3軸）
- 腰部モーター: ピッチ軸:近藤科学 KRS-3204ICS
- 脚部モーター: ピッチ軸:近藤科学 KRS-2552HV、ロール軸・ヨー軸:双葉電子 RS-303MR-FF
- 肩部モーター: ピルクス RPS-P03M、肘部モーター: HiTEC HS-35HD
- 首部モーター: HiTEC HS-35HD
- 制御システム：自作
- 頭部にPirkus μPX-1（小型Linuxボード）、胸部にPIC12F1822を3個（RCサーボ信号変換用）
- 脚部のKRS-2552HVとRS303はμPX-1からのシリアル通信で直接制御、上半身のRCサーボはPICでシリアル信号をPWM信号に変換して制御
- 外部通信： Bluetooth SPP、UART(3.3V)
DDSサイズ版開発記録 (2010/10 〜 現在)
| 2010年9月にボークス社から発表されたDDS(DollfyDreamSister: 身長52cm)のサイズに合わせる方針に変更。 (2011/03/11の東日本大震災を挟んだため、実質的な開発開始は 2011/08から) |
- 2019年7月時点
- Android端末での「顔検出」と連携して、近くにいる人に顔を向けられるように。
- 2019年4月時点
- 首部にヨー軸サーボを追加して、3軸直交関節に＆制御プログラム完成。
- 2018年11月時点
- 首部に差動リンクとサーボを入れ、2軸（ロール軸ピッチ軸）を動かせるように。
- 2018年6月時点
- 首部の3軸直交関節の制作開始
- 2018年2月時点
- 腰部にピッチ軸サーボを追加し、しゃがみ姿勢や体操座りができるように。
- 2013年4月時点
- 2013/04/30 RCサーボ制御用PICプログラムのバグ解消 ようやく全身の制御が正常に行えるように。
- 2013/04/16 足踏みモーションをYouTubeにUp - モーション制御プログラムの修正その他でようやく足踏みが安定。
茉莉花 足踏みテスト 2013/04/16
- 2013年2月時点
- 2012年12月時点
- 2012/12/06 ようやくAndroidから操作できるように -「操作」できるようにはなったけど、「操縦」できるレベルはまだ遠い。
茉莉花 Bluetooth SPPでの操作 2012/12/06
茉莉花 自己紹介 2012/11/26
- 2012年10月時点
- 2012/10/14 第三回船場ロボットファッションコンテスト参加 - 上半身まで完成するも制御プログラムの不具合で上半身は動かないまま。
- 2012/10月作業記録 - 上半身のフレーム、電子回路周りの制作記録
- 肘関節にRCサーボを追加、回転軸はピッチ方向からロール方向に変更。腕サーボ制御信号変換基板を両肩に配置
- 2012年9月時点
- 2012/09/15 関東ロボット練習会#75参加 - なんとか足踏みで転ばないところまで到達
茉莉花 練習会での足踏みテスト 2012/09/15
- 2012/09/01 第21回ROBO-ONE参加 - 直前にメインCPUのuartが逝ってしまう等のトラブルでプログラムが間に合わず。予選では一歩も歩けずに転倒して終了。
- 2012年4月時点
- 2012/04/19の日記 - UART→PWMサーボ制御信号変換基板 α版完成
- 上半身は旧来のPWM信号制御のRCサーボを使うため、μPX-1のuartから制御できるよう、信号変換基板を作成。
- 2012/04/19の日記 - UART→PWMサーボ制御信号変換基板 α版完成
- 2012年3月時点
- 2012/03/24 第20回ROBO-ONE参加 - モーション制御プログラム未完のためほとんど歩けず予選通過ならず。
- 2012/03/03 ロボスター in 天保山ロボフェス 参加
- メインCPU(Pirkus μPX-1)とシリアルサーボの配線まで完了。モーション制御プログラム未完。テスト用スクリプトにてサーボを制御。
- 股関節ヨー軸サーボをうまく制御できず、動くたびにパタパタ倒れてしまってダメダメに……
茉莉花 天保山での演技(?) 2012/03/03
- 2011年12月時点
- 2011/12/21の日記 - この時点での課題とTODOリスト（主に電子回路とプログラム関連）
- 2011年10月時点
- 2011/10/17の日記 - この時点ではフレーム(骨格)のみ完成
MDDサイズ版開発記録 (2010/06-2010/10 開発計画破棄)
- 2010年6月頃より設計開始(2010/06/10の日記)
- ボークス社のMDD（MiniDollfyDream 身長44cm）に近いサイズで設計。
- 股関節ロール軸は当初設計のギヤから交差リンクに変更。
- (2010/10) 下半身を組み上げたところでMDD（MiniDollfyDream）の上半身との組み合わせがダメダメだったので持ち開発プランを破棄。
- (2010/10) 下半身の構造はそのままで、DDSボディと組み合わせるプランに移行。
Keyword(s):
References:[開発履歴]