小程序模板网

首页 小程序模板网 开发文档 小程序开发教程正文

搭建https的silk录音文件语音识别服务的调用过程

发布时间：2018-01-02 08:59 所属栏目：小程序开发教程
实现功能

实现一个智能生活信息查询的小秘书功能，支持查天气、新闻、日历、汇率、笑话、故事、百科、诗词、邮编、区号、菜谱、股票、节目预告，还支持闲聊、算24点、数学计算、单位换算、购物、搜索等功能。

使用方式：

新版上线支持语音识别，按下说话，松开发送。

老版本上支持摇一摇、点界面按钮、手动输入、下拉刷新这四种方式。

扫码试用（左右皆可）

 

界面展示

 
 

开发资源

  • 免费开放语义接口平台 olami.ai
  • 微信小程序平台
  • js, css
  • 我自己搭建的https的语音识别API
接口
源码分析

这里主要介绍新版本首页相关的代码，其它部分代码在 微信小程序——智能小秘“遥知之”源码分享（语义理解基于olami）(注：这个是原来不支持语音识别的版本) 的基础上，变化不怎么大，具体可参考那篇文章。

asr.js源码：
  1. /**
  2. * 作者：happycxz
  3. * 时间：2017.09.19
  4. * 源码分享链接：http://blog.csdn.net/happycxz/article/details/78024986
  5. * 
  6. * https的silk语音识别API（专供微信小程序调用）：https://api.happycxz.com/test/silk2asr/olami/asr
  7. * 该API服务搭建全过程解析及源码分享贴：http://blog.csdn.net/happycxz/article/details/78016299
  8. * 需要使用此API请联系作者QQ：404499164
  9. * 
  10. * 遵循开放、分享、自由、免费的精神，把开源坚持到底
  11. */
  12.  
  13. //获取应用实例 
  14. var app = getApp()
  15.  
  16. var UTIL = require('../../utils/util.js');
  17. var GUID = require('../../utils/GUID.js');
  18. var NLI = require('../../utils/NLI.js');
  19.  
  20. const appkey = require('../../config').appkey
  21. const appsecret = require('../../config').appsecret
  22.  
  23. //弹幕定时器
  24. var timer;
  25.  
  26. var pageSelf = undefined;
  27.  
  28. var doommList = [];
  29. class Doomm {
  30.   constructor() {
  31.     this.text = UTIL.getRandomItem(app.globalData.corpus);
  32.     this.top = Math.ceil(Math.random() * 40);
  33.     this.time = Math.ceil(Math.random() * 8 + 6);
  34.     this.color = getRandomColor();
  35.     this.display = true;
  36.     let that = this;
  37.     setTimeout(function () {
  38.       doommList.splice(doommList.indexOf(that), 1);
  39.       doommList.push(new Doomm());
  40.  
  41.       pageSelf.setData({
  42.         doommData: doommList
  43.       })
  44.     }, this.time * 1000)
  45.   }
  46. }
  47. function getRandomColor() {
  48.   let rgb = []
  49.   for (let i = 0; i < 3; ++i) {
  50.     let color = Math.floor(Math.random() * 256).toString(16)
  51.     color = color.length == 1 ? '0' + color : color
  52.     rgb.push(color)
  53.   }
  54.   return '#' + rgb.join('')
  55. }
  56.  
  57. Page({
  58.   data: {
  59.     j: 1,//帧动画初始图片 
  60.     isSpeaking: false,//是否正在说话
  61.     outputTxt : "", //输出识别结果
  62.  
  63.     doommData: []
  64.   },
  65.  
  66.   initDoomm: function () {
  67.     doommList.push(new Doomm());
  68.     doommList.push(new Doomm());
  69.     doommList.push(new Doomm());
  70.     this.setData({
  71.       doommData: doommList
  72.     })
  73.   },
  74.  
  75.   onLoad: function () {
  76.     pageSelf = this;
  77.     this.initDoomm();
  78.   },
  79.  
  80.   //手指按下 
  81.   touchdown: function () {
  82.     UTIL.log("手指按下了... new date : " + new Date)
  83.     var _this = this;
  84.     speaking.call(this);
  85.     this.setData({
  86.       isSpeaking: true
  87.     })
  88.     //开始录音 
  89.     wx.startRecord({
  90.       success: function (res) {
  91.         //临时路径,下次进入小程序时无法正常使用
  92.         var tempFilePath = res.tempFilePath;
  93.         UTIL.log('record SUCCESS file path:' + tempFilePath)
  94.         _this.setData({
  95.           recordPath: tempFilePath
  96.         });
  97.       },
  98.       fail: function (res) {
  99.         //录音失败 
  100.         wx.showModal({
  101.           title: '提示',
  102.           content: '录音的姿势不对!',
  103.           showCancel: false,
  104.           success: function (res) {
  105.             if (res.confirm) {
  106.               UTIL.log('用户点击确定')
  107.               return
  108.             }
  109.           }
  110.         })
  111.       }
  112.     })
  113.   },
  114.   //手指抬起 
  115.   touchup: function () {
  116.     UTIL.log("手指抬起了...")
  117.     this.setData({
  118.       isSpeaking: false,
  119.     })
  120.     clearInterval(this.timer)
  121.     wx.stopRecord()
  122.  
  123.     var _this = this
  124.     setTimeout(function () {
  125.       var urls = "https://api.happycxz.com/test/silk2asr/olami/asr";
  126.       UTIL.log(_this.data.recordPath);
  127.       wx.uploadFile({
  128.         url: urls,
  129.         filePath: _this.data.recordPath,
  130.         name: 'file',
  131.         formData: { "appKey": appkey, "appSecret": appsecret, "userId": UTIL.getUserUnique() },
  132.         header: { 'content-type': 'multipart/form-data' },
  133.         success: function (res) {
  134.           UTIL.log('res.data:' + res.data);
  135.  
  136.           var nliResult = getNliFromResult(res.data);
  137.           UTIL.log('nliResult:' + nliResult);
  138.           var stt = getSttFromResult(res.data);
  139.           UTIL.log('stt:' + stt);
  140.  
  141.           var sentenceResult;
  142.           try {
  143.             sentenceResult = NLI.getSentenceFromNliResult(nliResult);
  144.           } catch (e) {
  145.             UTIL.log('touchup() 错误' + e.message + '发生在' + e.lineNumber + '行');
  146.             sentenceResult = '没明白你说的，换个话题？'
  147.           }
  148.  
  149.           var lastOutput = "==>语音识别结果：\n" + stt + "\n\n==>语义处理结果：\n" + sentenceResult;
  150.           _this.setData({
  151.             outputTxt: lastOutput,
  152.           });
  153.           wx.hideToast();
  154.         },
  155.         fail: function (res) {
  156.           UTIL.log(res);
  157.           wx.showModal({
  158.             title: '提示',
  159.             content: "网络请求失败，请确保网络是否正常",
  160.             showCancel: false,
  161.             success: function (res) {
  162.             }
  163.           });
  164.           wx.hideToast();
  165.         }
  166.       });
  167.     }, 1000)
  168.   },
  169.  
  170.   //切换到老版本
  171.   turnToOld: function() {
  172.     wx.navigateTo({
  173.       url: '../index/index',
  174.     })
  175.   },
  176.  
  177. })
  178.  
  179. function getNliFromResult(res_data) {
  180.   var res_data_json = JSON.parse(res_data);
  181.   var res_data_result_json = JSON.parse(res_data_json.result);
  182.   return res_data_result_json.nli;
  183. }
  184.  
  185. function getSttFromResult(res_data) {
  186.   var res_data_json = JSON.parse(res_data);
  187.   var res_data_result_json = JSON.parse(res_data_json.result);
  188.   return res_data_result_json.asr.result;
  189. }
  190.  
  191. //麦克风帧动画 
  192. function speaking() {
  193.   var _this = this;
  194.   //话筒帧动画 
  195.   var i = 1;
  196.   this.timer = setInterval(function () {
  197.     i++;
  198.     i = i % 5;
  199.     _this.setData({
  200.       j: i
  201.     })
  202.   }, 200);
  203. }
复制代码

这部分主要实现录音按钮被按下和松开触发话筒录音及结束录音，当按钮被按下后，触发调用话筒动画特效（其实是四五个图片轮流显示的效果），同时调用wx.startRecord开始录音。

当按钮松开时停止录音，然后将录音临时文件往 https://api.happycxz.com/test/silk2asr/olami/asr 上发送，同时发olami上注册申请的appKey和appSecret，以及用户唯一识别号。

从语音识别接口返回的结果是原封不动的olami官方输出结果，我们只需要取一下语音识别结果以及语义理解结果即可。 语义理解结果在原来 微信小程序——智能小秘“遥知之”源码分享（语义理解基于olami）(注：这个是原来不支持语音识别的版本) 中已经有方法解析，为了代码复用性强些，把解析nli结果的方法简单改了下，即适用新版语音识别的，也适用以前老版本的手动输入的。

代码逻辑很简单，看看就明白了，这里不再多述。

asr.json源码：
  1. {
  2.   "window": {
  3.     "enablePullDownRefresh": false
  4.   }
  5. }
复制代码

因为老版项目中我开启了下拉刷新，新界面上不需要了，所以在asr页面的.json这里特意关闭了此功能。

asr.wxml源码：
  1. <view class="container">
  2.   <view class="page-section">
  3.     <view class="text-box" scroll-y="true">      
  4.       <text style="max-width:200px;overflow-y:auto;height:200px;" selectable="true">{{outputTxt}}</text>
  5.     </view>
  6.   </view>
  7.  
  8.   <view class="page-section">
  9.     <text selectable="true" class="text-head">语义理解基于olami.ai，作者QQ：404499164</text>
  10.   </view>
  11.  
  12.   <view class="little-gap-top button-selection2 button-show bottom-button">
  13.     <button size="mini" type="default" open-type="contact">联系作者</button>
  14.     <button size="mini" type="default" bindtap="turnToOld">切老版本</button>
  15.     <button size="mini" type="default" open-type="share">帮忙分享</button>
  16.   </view>
  17.  
  18.   <view class="page-section">
  19.     <view class="doommview">
  20.       <block wx:for="{{doommData}}" wx:key="id">
  21.           <text wx:if="{{item.display}}" class="aon" style="animation: first {{item.time}}s linear infinite;top:{{item.top}}%;color:{{item.color}};">
  22.               {{item.text}}
  23.           </text>
  24.       </block>
  25.     </view>
  26.   </view>
  27.  
  28. <view  wx:if="{{isSpeaking}}"  class="speak-style">
  29.   <image class="sound-style" src="../../pics/voice_icon_speech_sound_1.png" ></image>
  30.   <image wx:if="{{j==2}}" class="sound-style" src="../../pics/voice_icon_speech_sound_2.png" ></image>
  31.   <image wx:if="{{j==3}}" class="sound-style" src="../../pics/voice_icon_speech_sound_3.png" ></image>
  32.   <image wx:if="{{j==4}}" class="sound-style" src="../../pics/voice_icon_speech_sound_4.png" ></image>
  33.   <image wx:if="{{j==5}}"class="sound-style" src="../../pics/voice_icon_speech_sound_5.png" ></image>
  34. </view>
  35.  
  36. </view>
  37.  
  38.  
  39. <view class="record-style">
  40.   <button type="primary" class="btn-style" bindtouchstart="touchdown" bindtouchend="touchup">按下录音，松开结束</button>
  41. </view>
复制代码

布局调了半天，还是没有达到我想要的效果，前端布局我没系统学习过，基本就是凑凑拼拼，望有基本审美观的各位看官理解……

asr.wxss源码：
  1. /* pages/asr/asr.wxss */
  2.  
  3. page{
  4.   background-color:beige;
  5.   background-image: url(http://img.blog.csdn.net/20170720105808995?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvaGFwcHljeHo=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast);
  6.   background-size: cover;
  7. }
  8.  
  9. .page-section{
  10.   display: flex;
  11.   flex-direction: column;
  12.   margin-bottom: 10rpx;
  13. }
  14.  
  15. .text-head{
  16.   color: #ff0000;
  17.   font-size: 28rpx;
  18.   align-items: center;
  19.   margin-top: 5rpx;
  20. }
  21.  
  22. .button-selection {
  23.   display: flex;
  24.   flex-direction: column;
  25.   justify-content: center;
  26.   align-items: center;
  27. }
  28.  
  29. .button-selection2 {
  30.   justify-content: space-between;
  31.   align-content: space-between;
  32.   flex-shrink:1;
  33. }
  34.  
  35. .little-gap-top {
  36.   margin-top: 10rpx; 
  37. }
  38.  
  39. .big-gap-top {
  40.   margin-top: 100rpx; 
  41. }
  42.  
  43. .button-show {
  44.   display: flex;
  45.   align-self: center;
  46.   justify-content: center;
  47. }
  48.  
  49. .bottom-button {
  50.   justify-content: space-around;
  51.   flex-shrink:0;
  52. }
  53.  
  54. .text-box{
  55.   margin-bottom: 0rpx;
  56.   margin-left: 50rpx;
  57.   margin-right: 50rpx;
  58.   padding: 40rpx 0;
  59.   display: flex;
  60.   min-height: 650rpx;
  61.   max-width: 600rpx;
  62.   width:600rpx;
  63.   background-color: #ffffff;
  64.   justify-content: center;
  65.   align-items: center;
  66.   text-align: left;
  67.   font-size: 30rpx;
  68.   color: #353535;
  69.   line-height: 2em;
  70.   
  71.   border: 1px solid cornflowerblue;
  72. }
  73.  
  74.  
  75. /* 录音 */
  76. .speak-style{ 
  77.     position: relative; 
  78.     height: 240rpx; 
  79.     width: 240rpx; 
  80.     border-radius: 20rpx; 
  81.     margin: 0 auto; 
  82.     background: #26A5FF; 
  83. } 
  84. .record-style{ 
  85.     position: fixed; 
  86.     bottom: 0; 
  87.     left: 0; 
  88.     height: 120rpx; 
  89.     width: 100%; 
  90. } 
  91. .btn-style{ 
  92.   margin-left: 30rpx; 
  93.   margin-right: 30rpx; 
  94. } 
  95.    
  96. .sound-style{ 
  97.   position: absolute; 
  98.   width: 74rpx; 
  99.   height:150rpx; 
  100.   margin-top: 45rpx; 
  101.   margin-left: 83rpx; 
  102. } 
  103.  
  104.  
  105. /* 弹幕 */
  106. .button{
  107.   position: absolute;
  108.   bottom: 0;
  109.   width: 100%;
  110. }
  111. .aon{
  112. position: absolute;
  113. white-space:nowrap;
  114. animation-timing-function: linear;
  115. animation-fill-mode: none;
  116. }
  117. .doommview{
  118.   z-index: 3;
  119.   height: 80%;
  120.   width: 100%;
  121. /*  position: absolute;  */
  122. }
  123.  
  124. @keyframes first{
  125.   from{left: 100%; }
  126.   to{left: -100%;}
  127. }
复制代码

弹幕部分原先是硬代码实现的，后来在小程序联盟里请教后才得知，css里有可以实现动画特效的功能，就顺便修改了一下。还是有点显示方面BUG的，不折腾了。

其它代码还是参照我原来的那个文章里介绍的吧：微信小程序——智能小秘“遥知之”源码分享（语义理解基于olami）(注：这个是原来不支持语音识别的版本) ，基本变动比较少。

“遥知之”微信小程序完整源码下载：

码云：http://git.oschina.net/happycxz/ ... chat_littleapp_demo
github: https://github.com/happycxz/nlp_ ... chat_littleapp_demo

写在最后

这次小程序的版本更新，还是上一次的延续，上次老版本未能支持上语音识别，用起来很不方便，网上也找不到相应的免费的接口，于是索性凑了点时间专门自己搭个HTTPS服务出来，方便同样想在微信小程序上DEBUG语音识别功能的伙伴们和兴趣开发者们调试和做些小玩意，好在，总算是一路走过来了，特别感谢kn007大神提供的silk decoder源码以及ffmpeg转码脚本，关于此议题（解码转换QQ微信的SILK v3编码音频为MP3或其他格式）在他本人的博客中火热地讨论了一年多了，感兴趣的也可以去膜拜一下这位大神。


易优小程序（企业版）+灵活api+前后代码开源 码云仓库:starfork
本文地址：https://www.eyoucms.com/wxmini/doc/course/18339.html 复制链接 如需定制请联系易优客服咨询：800182392 点击咨询

免责声明：本站所有文章和图片均来自用户分享和网络收集，文章和图片版权归原作者及原出处所有，仅供学习与参考，请勿用于商业用途，如果损害了您的权利，请联系网站客服处理。

产品

服务

帮助

关于

工作日 8:30-12:00 14:30-18:00
周六及部分节假日提供值班服务

联系我们
QQ在线咨询