基于知识库的高轨卫星跨模态语义通信试验

qwased

本试验依托中国电信云网融合中试平台的高轨实星验证能力，基于亚洲九号卫星完成跨模态语义通信验证，实现了两大核心技术突破：

一是创新性融合语义知识库和信源信道联合编码（JSCC）传输技术，星地链路传输效率提升至3.5倍以上。通过关键帧的JSCC高效可靠传输+非关键帧的文本向量映射，关键帧占比降低至约0.5%，每6秒视频中仅选取1帧关键帧传输视频图像；对于近200帧非关键帧，将视频映射到知识库的文本向量，实现高维信息的低维表征。在保持相近视频质量（Frechet距离FID<50）的前提下，实测星地传输效率较传统的H.264和H.265方案分别提升至5.5倍和3.5倍。

二是破解语义通信多模态传输难题，多模态传输质量提升70%以上。试验基于语义知识库的生成式语义恢复与视频、音频跨模态融合对齐，实现星地多模态高质量传输。在采用相近的视频压缩比时，视频质量(FID)较传统的H.264和H.265方案分别提升92%和70%。

这个意思是每6秒视频只有一帧图像，其他帧只传输对图像的文本描述到另一端再ai生成？

Alufer

我是不是可以理解为这是dlss的超进化版，
类似于你说doge，只需要传输四个字节，ai就把那只黄狗给还原出来。

木谷高明

【AI让压缩视频的思路有了根本变化-哔哩哔哩】

2023年就有这个思路了，英伟达推销自己硬件找的应用场景，收发视频两端都用相同模型，中间传输的不是视频，而是调用模型的信息

接收方的视频是模型”脑补”出来的，双方用算力换压缩率。有些船用卫星通信视频电话实验过这个，但星链让地球上带宽够用了。卫星还是有用。

相当于发送端和接收端都有一座图书馆，每块数据挑100本书表示，只传书名不传数据。

qwased

回错贴

orec

大力水手上卫星？

狩野すみれ

引用第2楼木谷高明于2026-07-17 12:00发表的  :
本帖最后由 木谷高明 于 2026-7-17 12:03 编辑 【AI让压缩视频的思路有了根本变化-......

说实话现在人和人之间纯语言文字沟通，也无非是这样的，一边靠文字尽量描述，另一边靠想象脑补

----发送自 Sony XQ-AT72,Android 12

木谷高明

orec 发表于 2026-7-17 12:44
大力水手上卫星？

大力水手还需要原图

他那个算是AI生图，发送方图片反推提示词，传输提示词，接收方在生成出来

不过肯定不是自然语言，可能是向量之类的

菠萝蛋散

orec 发表于 2026-7-17 12:44
大力水手上卫星？

应该是大力水手在两边，卫星只传菠菜。

—— 来自 鹅球 v3.3.96

nvis

赛博版的插帧补偿算法