我最终的目标是:
1、具有唤醒功能
2、本地离线,机器可以边学习边使用,前期弱智,后期会越来越聪明。
3、最理想的是一款“养成系的语音助手”。
4、所有的语音模型都是运行在本地。
分析了多款在卖的产品:
1、基于ESP32/ESP8266本地录音,通过网络上传到远程服务器进行SSE-ASR-NLU-DM-NLG-TTS,几乎所有的工作都在远程服务器上运行,本地则只负责声音采集和播放语音。
目前做了一下尝试:
1、交叉编译了Kaldi并移植到了全志H3,瑞芯微RV1126,瑞芯微RK3566,可以将自然语言转为文字。
2、使用snowboy制作了唤醒词。
并了解了大致框架:
本人有时间、有精力但是不知道怎么开始,目前比较擅长使用的比较牛逼的芯片就是RK3566和RK3568.
离线
这里有一个可以参考的:(基于python和深度学习(语音识别、NLP)实现本地离线智能语音控制终端(带聊天功能和家居控制功能)) 比较简单,和我的目的差的很远。
离线