HA语音助手接入大模型

HA注重本地化,而以往的语音助手实现需要接入三个能力,一个是STT(speech-to-text)语音转文本能力、大模型本身的意图识别和问答能力、还有结构化输出的能力。

接入大模型

新版本HA自带兼容openapi接口的集成OpwenAI_Conversation。
默认是OpenAI的api接口,可以通过修改HA容器中的环境变量来使用其他大模型厂商的接口。

容器启动成功后,检查启动参数是否生效

docker inspect homeassistant|grep openai_base_url

在集成中添加OpenAI Conversation-填入API key

打开面板-设置-语音助手-添加助手-选择英语

对话代理选择ChatGPT

文字交互

接入本地STT

参考论坛:
【新提醒】K2-fsa 纯本地的离线语音转文字插件【STT】 – 『HomeAssistant』综合讨论区 – 『瀚思彼岸』» 智能家居技术论坛 – Powered by Discuz!

HA注重家庭生活场景,能不联网的都最好做成本地化,毕竟不能说要是断网了,就打不开家里的窗帘了吧(作者亲身经历。。。)

安装/配置方法

先执行该命令,安装K2-FSA服务端

docker run -d --restart=always --name k2fsa_ha -p 6006:6006 bailu166/k2fsa-stt:v0

镜像启动过程需要加载ONNX模型,这个比较耗时,大约需要1~3分钟,主要看CPU和磁盘读写性能,在日志里看到类似的输出就表示服务端启动成功,到此完成90%
小内存可以尝试增加:-e USE_INT8=1 参数

下载HA集成LocalTTS插件
bai1828/LocalSTT: HA本地语音转文本插件

将其放进HA目录下的的custom_component后重启服务,在集成中添加LocalSTT
初始化时填写服务端的地址和ip(HA和服务端安装在同一主机的默认提交就行),安装成功

配置语音转文字为LocalSTT,语言选择为中文

如果LocalSTT显示灰色不可选,将语音助手选择成中文就可以正常使用了

app上使用效果

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇