一起脑洞一下吧，如何利用神经网络提升手机使用体验？
本帖最后由 四控大叔 于 2017-9-3 00:56 编辑看到新闻说，华为的新soc麒麟970增加了一块NPU，专门用于神经网络机器学习，性能能达到CPU的25倍，能效比是其50倍。
另一方面，这次kirin970的晶体管个数达到50亿，比巨无霸A10还要多，可见这次的NPU在970里扮演了很重要的角色。
那么神经网络可以给我们的体验带来什么呢？
和神经网络+移动相关的应用我首先也唯一想到的就是谷歌相册，它的照片分类确实非常神，给查找带来很多方便。不过事实上这个学习过程其实不应该在手机上完成吧？因为需要海量数据以学习，且分类对每一个人都适用。因此在服务器端构建网络，在手机本地分类更现实也更有效率。*根据三楼的说法，通过查找到anandtech的文章：
http://www.anandtech.com/show/11804/huawei-shows-unannounced-kirin-970-at-ifa-2017-dedicated-neural-processing-unit
发现华为有这么一段声明：
Or to put this in practical terms, Huawei says that the NPU is capable of discerning 2005 images per minute from internal testing, compared to 97 images per minute without the NPU – and presumably on the CPU – using the Kirin Thundersoft software (likely a future brand name).
即970在图像识别上可以实现一分钟2005张照片，使用同样规格的CPU一分钟仅能完成97张。
综上，考虑两点
1.可以在服务端完成神经网络构建，本地加速分类。
2.可以在本地完成神经网络的构建，利用用户的日常使用提供数据，其分类结果仅适用于个人。且随着用户的深入使用不断改进网络。这样可以通过学习带来十分个性化的体验。
但是具体应用起来又可以做些什么呢？我一时想象不到，不知道大家有什么想法。————————————————————————
补充：
kirin970的npu如果是最新的寒武纪3代，那么根据雷锋网的这篇文章：
https://m.leiphone.com/news/201603/D3j7QeK6dLB4JRX9.html，它可以加速实现更多加丰富的机器学习算法。其中还包括k-means等无监督学习。也许可以实现通过照片上的人脸给照片按照人物分类的功能。
随便看了一些文章，我的理解是即便不涉及训练过程，单是识别的过程NPU也比CPU效率高不少，原本依赖网络的语音图像视频识别等等功能可以做到本地了。
如果可能的话，我比较期待通话录音能直接通过文字查询，识别并记录通话中提到的时间，电话号码。
视频中识别人脸应该能实现吧，更进一步就是能搜"蓝色货车"之类的关键字。
然后应该能实现一些更加复杂的图像处理，比如照片实时意面化。
嗯。。。也许某一天手机能学会用户的说话习惯，用户只要写两个关键字就自动写出短信微信回复了。
—— 来自 Meizu PRO 5, Android 7.0上的 S1Next-鹅版 v1.3.1.0 noneoneone 发表于 2017-9-2 23:49
随便看了一些文章，我的理解是即便不涉及训练过程，单是识别的过程NPU也比CPU效率高不少，原本依赖网络的语 ...
很棒啊，如果识别过程也能加速的话，那适用范围就高很多了。通话录音查找确实是不错的想法。顺着这个想到一点，也许可以在本地识别通话，然后根据通话内容判断是否属于诈骗电话，如果是的话就通知用户注意。 本帖最后由 KiraraKisaragi 于 2017-9-3 01:26 编辑
通过屏幕抓取和键盘行为识别并保存用户的微信聊天记录 看介绍大部分功能都集中在图像处理上面，大概就是双摄扣图更快，拍照实时识别翻译更快这样？对整体的系统运作有什么大的支持我是完全想不出来了。 图片分类显然对每个人都不同，我觉得好看的你不一定喜欢啊。 是在本地用协处理器加强特征提取来降低CPU和网络数据依赖而不是本地去训练模型吧，如果仅仅用本地用户照片的话那开始几张训练出来的基本画美不敢看吧。 语音流视频流直接给云不就行了 现在大家也是这么做的 华为ppt上给的数据是对比cpu的数据 这些事情哪一个gpu做不了 如果是小米我能想到可以针对性推送广告，华为就想不出来了，可能只能用那个吹牛逼了 运用人工智能神经网络，对跑分软件进行识别，实时优化显示效果，从而达到将EMMC5.1优化为UFS2.1的用户体验
避免了仅用包名进行识别并被抓包的错误行为 本帖最后由 董卓 于 2017-9-3 10:13 编辑
如果是当场识别，都涉及I/O。不单是指u和存储间，包括从最前端输入/返回到最前端输出处理流的能力
如果不是当场，用户其实有那么介意么？慢慢识别/上云识别完模型公式化之后，模型公式直接用起来也不会慢
如果当场真整体端到端的I/O很强，那这个玩法就有意思了，各种AR随便玩啊，各种像攻壳里面之类的现实增强识别随便来啊
cuda 发表于 2017-9-3 06:32
语音流视频流直接给云不就行了 现在大家也是这么做的 华为ppt上给的数据是对比cpu的数据 这些事情哪一个gpu ...
推给云本身就是现在本地计算能力不足造成的，如果可能的话，显然用本地计算更方便，不依赖网络，速度和可靠性更高，可以自我安慰保护隐私。
就好像当初GPU能做的CPU也能做一样，效率不同。NPU是针对NN计算特别设计的，在AI相关的场景下能耗比要优于GPU。
不过话又说回来，目前来说，华为这个确实只是个噱头而已。
首先是对于移动设备来说AI到底有多大意义尚且存疑。
其次是现有的AI加速芯片就有NPU,TPU之类的一大堆方案，到底最后哪种胜出也不知道。
然后就算是真有用，也肯定需要相当长一段时间培养相应的软件，到时候AI加速应该已经烂大街了。 论在墙内没有古狗体量和水平的公司，如何在图形图像上做出“卖”点，坑骗无知消费者 用waifu2x来优化照片 win8 发表于 2017-09-03 09:14:46
如果是小米我能想到可以针对性推送广告，华为就想不出来了，可能只能用那个吹牛逼了 ...针对性吹牛逼，没毛病
-- 来自 能搜索的 Stage1官方 Android客户端 本帖最后由 四控大叔 于 2017-9-4 02:42 编辑
orecheng 发表于 2017-9-3 12:13
用waifu2x来优化照片
233，简单粗暴，like it 之前逛贴吧看到的
貌似可以实现这样的图片‘优化’
本帖最后由 四控大叔 于 2017-9-3 16:51 编辑
神之领域 发表于 2017-9-3 16:41
之前逛贴吧看到的
貌似可以实现这样的图片‘优化’
如果已经看不出是本人了，美颜就失去意义了。但是机器学习美颜确实是一个好方向233 Neozero 发表于 2017-9-3 16:21
去雾？之前cuhk的kaiming he有一篇用deep learning对图像去雾处理的paper，可以往帝都卖
— from X ...
嗯。。。嗯？看小黄片自动去码？ 四控大叔 发表于 2017-9-3 16:44
如果已经看不出是本人了，美颜就失去意义了。
这是美型。。。不同级别了
网红的最爱，连后期PS也省了。
例如这个：
https://bbs.saraba1st.com/2b/thread-1543981-1-3.html 神之领域 发表于 2017-9-3 16:47
这是美型。。。不同级别了
网红的最爱，连后期PS也省了。
吓死我了 那以后是不是可以看到华为手机拍的照就自动排除了
—— 来自 HUAWEI EVA-TL00, Android 7.0上的 S1Next-鹅版 v1.3.1.0 NPU是高通首创 820首发
华为不要碧莲
至于效果 看高通宣传片不就可以 董卓 发表于 2017-9-3 10:10
如果是当场识别，都涉及I/O。不单是指u和存储间，包括从最前端输入/返回到最前端输出处理流的能力
如果不 ...
好主意，图像识别+AR，肯定很酷。打开摄像头就是一个实景百科全书。说到摄像头突然又有了一个想法，可以在相机app里加入自动构图：实时处理取景框里的图像，然后当某一时刻的构图被认为好时给出提示，让每个人拍出好照片。 本帖最后由 四控大叔 于 2017-9-4 03:10 编辑
Neozero 发表于 2017-9-4 02:09
https://zhuanlan.zhihu.com/p/27199954
Eh-viewer华为mate10特供版，从此看本子告别小黑条，看cos小姐姐无视censored标签，尊享爵士人生 https://www.qualcomm.com/news/releases/2016/05/02/qualcomm-helps-make-your-mobile-devices-smarter-new-snapdragon-machine
这是高通的方案，从高通的市场占有率和实际效果来看。
相当长一段时间内，应该是什么都不会发生。 大概是是高通没海军能吹 感觉移动端的NPU能做的上传到云端也能做，缺少必要的应用场景啊...
不过无人车或者无人机反坦克导弹什么的用一下感觉很有前途 神之领域 发表于 2017-09-03 16:41:52
之前逛贴吧看到的
貌似可以实现这样的图片‘优化’23333神回复
-- 来自 能手机投票的 Stage1官方 Android客户端 defer 发表于 2017-9-4 09:13
https://www.qualcomm.com/news/releases/2016/05/02/qualcomm-helps-make-your-mobile-devices-smarter-ne ...
先说一下，我说的不一定对啊，也都是四处看的资料。
zeroth平台是整合现有软硬件实现AI，目前主要计算还是依赖GPU。NPU是它的未来发展目标，但是在已有的SOC里没有搭载专有硬件。
目前高通提供的NPE是一个纯粹软件的框架。
所以用820来推论NPU的效果，就像通过德军总部来评测quake画面一样。
—— 来自 Meizu PRO 5, Android 7.0上的 S1Next-鹅版 v1.3.1.0 noneoneone 发表于 2017-9-4 12:27
先说一下，我说的不一定对啊，也都是四处看的资料。
zeroth平台是整合现有软硬件实现AI，目前主要计算还 ...
你说的对，但我想表达的重点不是实现效率，而是在收益不明显的情况下这个东西普及的可能。
非要类比一下的话，
通用API有点像DX9/11，大家都在用。
高通那个有点像Vulkan，硬件普遍支持，有点提升但划不来没几个人爱用。
菊花这个根本就是小AA的馒头，小AA还有20%占有率呢，菊花占智能机出货比去年才不到10%，还不全是旗舰。 Neozero 发表于 2017-09-04 02:09:51
-- 来自 有消息提醒的 Stage1官方 iOS客户端 noneoneone 发表于 2017-9-4 12:27
先说一下，我说的不一定对啊，也都是四处看的资料。
zeroth平台是整合现有软硬件实现AI，目前主要计算还 ...
http://img.expreview.com/news/2013/10/12/gaotong1.png
你告诉我这不是专有硬件？ 蔷薇落白 发表于 2017-9-4 18:39
你告诉我这不是专有硬件？
还是那句话，我不敢100%确定：
这张图应该是2013年高通展示正在开发的东西，然后国内网站在2015年820发布时拿过来用了。 之前有个专项报告 在820之前高通来讲
专有NPU是有的 MR+AI的概念视频很棒 落实到演示demo是一些场景和物体判断 功能和AWS提供的AI接口类似
然而这个要加钱 疯狂压缩BOM的手机厂商是不肯的(研发成本无法预估 不如使用云ML) 当时关注浪潮也没起来
至于某品牌连闪存也要混着用降低成本……那就看看吧
利益相关 台球论坛网友 发表于 2017-9-4 15:56
搞个AI猫养手机里？反正猫脑子比人简单。
而且比养船便宜多啦 ...
想养一个kizunaAI
页:
[1]
2