# API期末项目 **Repository Path**: fangqiao07/api_face_recognition_warehouse ## Basic Information - **Project Name**: API期末项目 - **Description**: No description available - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2020-04-13 - **Last Updated**: 2020-12-19 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # API期末项目 | 文档名称 | 逐字英语——需求文档 | | -------- | -----: | | APP名称 | 逐字英语 | | 产品描述 | 一个做到逐字音频字幕同步的卡通动画片app | | 产品版本 | 1.0 | | 文件现状 | 进行中 | ## [项目介绍ppt](https://gitee.com/fangqiao07/api_face_recognition_warehouse/blob/master/api%E6%9C%9F%E6%9C%AB%E4%BD%9C%E4%B8%9A(1).pptx) ## 项目名称：逐字英语--一款解决孩子不爱英语的app - 以玩促学，玩耍是改造大脑,促进学习的其中一种方式。对于接受早期英语教育的儿童（6-12岁）坐下来学习英语是一件十分枯燥且痛苦的事情。在看动画片中学习，那可能会增加儿童的学习乐趣。本项目是播放英语卡通动画片，运用视频内容分析在字幕里逐词同步，让儿童在看卡通动画中学习英语。 ## MVP价值主张宣言 - 目前现有市场上学习英语软件参差不齐，但是有效针对儿童却少之又少。对于接受早期英语教育的儿童（6-12岁）坐下来学习英语是一件十分枯燥且痛苦的事情。在看动画片中学习，那可能会增加儿童的学习乐趣。此app针对于接受早期英语教育的儿童（6-12岁），运用了[逐字音频字幕同步工具API](https://github.com/saurabhshri/CCAligner)、[视频OCR识别API](https://ai.baidu.com/tech/video/vca)、[百度ai的智能推荐](http://di.baidu.com/product/tuijian?castk=LTE%3D)、[百度ai的视频内容审核](https://ai.baidu.com/tech/video/vcr)等，将app功能实现，解决儿童能边看动画片边输入知识的痛点。 ### 加值宣言 - 加值宣言: (主）运用github上已有的逐字音频字幕同步工具API，让6-12岁儿童可以在看英文卡通动画时认识英语单词和发音。 （辅）运用视频内容分析中视频OCR，视频个性化推荐在app首页推荐一些儿童比较感兴趣的动画片。 （辅）运用百度ai的视频内容审核，对视频中的语音、文字、图像进行多维检测，及时发现涉黄、涉暴、政治敏感、广告、违禁品等风险内容。 ### 核心价值 - 核心价值宣言：当代父母对教育的重视，使得孩子在小小年纪就在上各种补习班。但是孩子较好的教育是从玩中吸取知识。现有的app上没有类似逐字音频字幕app。从最小产品出发，选择了英文较为简单，发音较为清晰缓慢的英文卡通入手，做到逐字音频字幕同步，完成最小可行性产品。 ## 一、问题表述与需求列表 ### 1、产品背景 - 在儿童（6-12岁）坐下来学习英语是一件十分枯燥且痛苦的事情。而现社会却促使父母想让孩子获得更多的知识与技能，而在玩与学中总是很难找得到一个平衡点。这也是很多孩子会跟父母矛盾激化的源头。如何在玩和学中平衡或者结合，是本次产品研究的出发点。 ### 2、产品市场 - 现市场面向儿童学习英语的app大多还是以课程为主，外加作业为辅。且收费昂贵。大多app都以真人外教视频模式，但是儿童线上专注度本就比较低，用教学的方式比较吸引不到儿童的注意力。且现市场很少能够做到app能够玩学相结合，达到互赢结果。 ### 3、需求列表 | 需求 | 用户场景 | 优先级 | 智能加值？ | API类型 | | -------- |------------- |------------- |------------- |------------- | | 认识单词及其发音| 儿童不想学习想看动画片 | 重要 | 是| 逐字音频字幕同步工具API | | 纯英文动画片 | 家长想让儿童看纯英文动画片却不知道选什么类型 |重要 | 是 | 视频内容分析中视频OCR | | 积极向上绿色动画片 | 家长怕动画片里面有暴力或不正确的价值观出现 |次重要 | 否 | 百度ai的视频内容审核 | ## 二、核心价值--（最小可行性产品） 在“逐字英语”app里让不爱课程式英语教育的孩子爱上英语。 ### 用户痛点 - 用户痛点宣言： 1、孩子补习班多，对学习会有抵触心理。 2、家长对教育的重视，想让孩子掌握更多技能。 3、家长想挑一些英语动画给孩子看但是却迷茫于怎么挑。 ## 三、用户分析 ### 用户群体及场景分析（使用情景） - 学习了一整天，在家里轻松看英语版动画片放松的同时学习英语。让儿童（6-12岁）能够快乐学习英语，培养语感。通过该产品独特的教育方式，让孩子们在乐趣中学习英语，从而促使儿童学习英语乐趣增加。 用户使用场景：家长希望儿童在看动画片的同时也能够学习技能。 任务：让儿童（6-12岁）能够快乐学习英语，培养语感。 - 用户画像及使用场景 ![用户画像1](https://images.gitee.com/uploads/images/2020/0715/222450_32d630ee_2228994.png "微信截图_20200715220735.png") ![用户画像2](https://images.gitee.com/uploads/images/2020/0715/224808_70ab9cf8_2228994.png "微信截图_20200715222429.png") - 利害相关者分析 接受早期英语教育的儿童（6-12岁） 6-12岁孩子父母 企业 - 企业之ESG考量 1、S社会问题：在目前社会快速竞争时代，孩子出生后的每一步都被父母安排的满满当当，多了技能缺少了童年。在这种环境下，若有一个软件能够使得孩子有喘气的机会，也能让父母焦虑少一点害怕孩子沉迷电视。从这个角度出发而创造了这个app。 2、S社会机会：先目前学习app较多，但是都是以学习为主。对于娱乐但带有学习性的app较少，在此竞争力较少，可以快速发展app，通过迭代使得app更加成熟，从而占据市场份额，提高app知名度，提高竞争力。 ### 四、核心价值与用户痛点 | 用户痛点 | API文档 | | -------- | ------------- | | 不认识英语单词的发音 | [逐字音频字幕同步工具API](https://github.com/saurabhshri/CCAligner) | | 不知道看什么样的英语卡通动漫片 | [ 视频内容分析中视频OCR](https://ai.baidu.com/tech/video/vca) | ### 五、人工智能API加持与解决用户痛点 - 逐字音频字幕同步工具API | 功能优势 | 解决痛点 | | -------- | ------------- | | 使用PocketSphinx执行语音识别。| 卡通英语字幕与单词能够统一 | | 实现音素识别 | 单词与发音能够同步 | - 视频内容分析中视频OCR | 功能优势 | 解决痛点 | | -------- | ------------- | | 数据增强效果：精准的评估用户偏好，增强推荐效果。| 更加便捷找到喜爱动画片 | | 识别精度高：海量视频数据训练，分析，识别精度高 | 视频推荐精准度高 | | 支持多语种识别 | 对英语卡通片也能进行分析 | ### 六、产品结构图 - 产品功能 ![产品结构图](https://images.gitee.com/uploads/images/2020/0717/000545_90f162a7_2228994.png "微信截图_20200717000349.png") - 用户流程 ![用户流程](https://images.gitee.com/uploads/images/2020/0717/010807_e0f5bbd6_2228994.png "微信图片_20200717010745.png") ### 七、产品原型 1、进入页 ![进入页](https://images.gitee.com/uploads/images/2020/0720/222712_6c8c1d9a_2228994.png "微信截图_20200720222632.png") 2、推荐页 ![推荐页](https://images.gitee.com/uploads/images/2020/0716/103930_8f5bbbb1_2228994.png "微信图片_20200716103534.png") 用户进入app后第一个推荐页，使用的视频OCR根据用户看过的视频类型进行推荐，使孩子能够慢慢接受英文卡通动画进而习惯卡通动画。 3、推荐页详细页 ![输入图片说明](https://images.gitee.com/uploads/images/2020/0720/223015_16d7919b_2228994.png "微信截图_20200720222822.png") 在详细页点击喜欢看的动画片会呈现一个更加详细的介绍且有播放该动画区按钮。 4、热榜 ![热门页](https://images.gitee.com/uploads/images/2020/0716/103959_414b8c59_2228994.png "微信图片_20200716103538.png") 热榜是每一周内播放量前五名，可以给刚下载的人作为参考进行点击播放。 5、播放页 ![播放页](https://images.gitee.com/uploads/images/2020/0716/104051_74d8b02e_2228994.png "微信图片_20200716103547.png") 在播放页的字幕上会根据卡通人物说到的英语单词进行标红。以此达到其能够使得英语标红字幕与音频能够统一。 6、“我”页面 ![输入图片说明](https://images.gitee.com/uploads/images/2020/0720/223147_8af5cf42_2228994.png "微信截图_20200720222837.png") 在“我”页面可以查看到收藏、历史记录、个人消息等等。 7、搜索界面 ![输入图片说明](https://images.gitee.com/uploads/images/2020/0720/223456_1c70d5d6_2228994.png "微信截图_20200720222849.png") 考虑到可能有儿童自己草儿，为了简易操作，专门设置了一个搜索界面供儿童查找自己喜欢的动画片。 8、分类界面 ![输入图片说明](https://images.gitee.com/uploads/images/2020/0720/223643_7e5fe2f2_2228994.png "微信截图_20200720222905.png") 分类里面有时间、动画分类等等，可以给家长跟父母更多的选择，可以找儿童感兴趣的部分，提高儿童的兴趣。 - [交互原型链接](https://modao.cc/app/1ec32992e87e97aebf5fc76187b11efa3bb78c52#screen=skcldchmhhazni8) ### 八、API运用 ![示例图尝试](https://gitee.com/fangqiao07/api_face_recognition_warehouse/raw/master/demo.gif) 1、使用以下命令从Github克隆存储库： ![输入图片说明](https://images.gitee.com/uploads/images/2020/0717/013027_fcdfad50_2228994.png "微信截图_20200717012854.png") 2、使用CMake生成项目文件，然后生成它。并且对齐。 ![输入图片说明](https://images.gitee.com/uploads/images/2020/0717/013114_162e0b99_2228994.png "微信截图_20200717012909.png") 3、CCAligner的默认输出存储为XML文件。例如，下一条命令将生成file.xml： ![输入图片说明](https://images.gitee.com/uploads/images/2020/0717/013143_daac6a38_2228994.png "微信截图_20200717012918.png") 4、生成的输出片段： ![输入图片说明](https://images.gitee.com/uploads/images/2020/0717/013202_d5887acb_2228994.png "微信截图_20200717012952.png") 该项目的目的是在说出的单词加上标签，类似于卡拉OK系统。 例如 ![输入图片说明](https://images.gitee.com/uploads/images/2020/0717/013507_a2c32a97_2228994.png "微信截图_20200717013451.png") 在上面的示例中，字幕中的每个单词都基于音频带有开始和结束时间戳记。 ### 九、学习/实践心得总结及感谢 - 本文档的写作使得本人在“API机器学习与人工智能”有更好的理解与认识。无论是线下课还是线上课，在本节课老师都费尽心思去教学，让我们实操与理解相结合。在本次文档中，特别感谢“大风吹”中各位同学的建议，与此感谢网新老师的用心，也再次感谢[github作者](https://github.com/saurabhshri/CCAligner)与[百度AI开放平台](http://lbsyun.baidu.com/)提供的api支持。