早期分组丢失检测和反馈的制作方法

早期分组丢失检测和反馈的制作方法
【专利说明】早期分组丢失检测和反馈
[0001] 相关申请的交叉引用
[0002] 本申请要求2013年3月29日申请的美国临时专利申请No. 61/806, 670 ;2013年 6月11日申请的美国临时专利申请No. 61/833, 865;和2014年2月21日申请的美国临时 专利申请No. 61/943, 073的权益；其每一个的内容以引用的方式结合于此。
【背景技术】
[0003] 近几年，由于类似于新生代智能电话、平板电脑等设备的引入，在移动多媒体流量 快速增长。这些设备具有高级多媒体能力，像视频流、高分辨率显示，和支持交互应用的功 能，像视频会议和视频对话。视频现在占了 51 %的移动流量，预计移动视频将增加16倍， 最终将占整个移动数据流量的三分之二。无线局域网（WLAN)，例如其可以被称为基于IEEE 802, 11标准的Wi-Fi，可以用于非移动和移动用户的数据传送。
[0004] 实时视频应用可以对无线网络的时延（latency)需求施加挑战。例如，在通过 WLAN链路运行的移动视频电话中，WLAN网络可能遭受传输错误，其可能导致视频质量的下 降。

【发明内容】

[0005] 提供了实现基于反馈的编码的系统、方法和装置。视频编码设备（例如，无线发 射/接收单元（WTRU)，可以包括视频电话、平板电脑等）可以使用传输协议（例如，SRTP或 TLS)传送具有帧序列号的编码帧。编码设备、视频编码设备上的应用、和/或编码设备上的 协议层可以检测分组丢失（例如，通过接收错误通知）。分组丢失可以通过传输协议来检 测。错误通知可以指示第一编码帧的传输失败，并可以包括序列控制媒体接入控制（MC) 协议数据单元（SC mpud)。编码设备可以从错误通知获得丢失帧序列号?；竦枚е⌒蛄泻?可以包括将SCmpud映射到序列号MAC服务数据单元（SN MS J，并将SNmsud映射到实时传送协议 序列号（SNrtp)。当使用传送层安全（TLS)协议时，获得丢失帧序列号可以包括将SN msud映 射到TLS签名（IDtis)，并将IDtis映射到网络自适应层序列号（SN naJ。丢失帧序列号可以通 过运动图像专家组（MPEG)媒体传送（MMT)跨层接口（CLI)发送给另一个层。
[0006] 视频编码设备可以在MAC层确定MAC分组传输失败。该确定可以在接收到指示失 败的传输的接收方传输反馈消息之前做出。接收方传输反馈消息可以包括接收方报告、来 自接收方的否定应答消息、来自接收方的应答消息等等。视频编码设备可以标识与MC分 组的失败传输关联的视频分组。视频编码设备可以产生指示与MC分组的失败传输关联的 视频分组的消息。该消息可以在MAC层产生。消息可以从MAC层发送给应用层。视频编码 设备可以根据标识的视频分组对视频流编码。
[0007] 视频编码设备可以使用传输协议发送编码帧。视频编码设备（例如，视频编码设 备处的MAC层或RLC层）可以确定分组传输失败了。MAC层或RLC层可以产生错误通知消 息。错误通知消息可以包括常规MMT协议（MMTP)控制消息。错误通知消息可以指示编码 帧的传输已经失败。错误通知消息可以经由MPEG媒体传送（MMT)发送给较高层。错误通 知可以经由MMT跨层接口（CLI)被发送。错误通知消息可以在每个分组的基础上被发送。
[0008] 视频编码设备的编码器可以根据所述错误通知产生第二编码帧。第二编码帧可以 包括即时解码器刷新（IDR)帧。编码器可以根据参考图像选择（RPS)预测第二编码帧。在 RPS中，编码器可以根据该错误通知从未破坏的参考帧预测第二编码帧。编码器可以执行速 率失真优化以在将第二帧编码为IDR帧或预测帧之间作出决定。编码器可以根据图像选择 的参考组（RSPS)产生第二帧。在RSPS中，编码器可以根据该错误通知从多个未被破坏的 参考帧产生第二编码帧。
[0009] 设备可以在MAC层发送传输失败的分组。设备可以包括接收方、发送方、WTRUJi 入点、网格网络中的设备、接收方和发送方之间传输路径上的设备等等。设备可以在接收到 与传输关联的接收方传输反馈消息之前在MAC层确定MAC分组的传输已经失败。接收方传 输反馈消息可以包括接收方报告、来自接收方的否定应答消息、来自接收方的应答消息。设 备可以确定MAC分组传输失败的原因。设备可以通过测量与MAC层关联的信道接入延迟时 间来确定传输失败的原因。设备可以将信道接入延迟时间与预定的阈值比较。在信道接入 延迟时间超过预定阈值的情况下，传输失败的原因可以包括拥塞。设备可以根据确定的原 因来确定MAC分组的失败传输的重发送时间。设备可以收集一个或者多个分组延迟统计。 设备可以确定往返时间。往返时间可以根据深度分组检查来确定。在传输失败原因包括拥 塞的情况下，重发送时间可以大于分组抖动边界并小于往返时间。设备可以收集一个或者 多个分组延迟统计。分组抖动边界可以根据一个或者多个分组延迟统计来确定。在传输失 败的原因包括信道错误的情况下，MAC层可以立即被重发。设备的MAC层可以在确定的重 发送时间重发送MAC分组的失败传输。
【附图说明】
[0010] 图1显示了从接入点（AP)到多个站（STA)的多用户传输的示例；
[0011] 图2显示了通过WLAN链路运行的移动视频电话的示例；
[0012] 图3显示了视频编码器和因特网协议栈中的IEEE 802. 11的示例；
[0013] 图4显示了基于反馈的视频编码的示例；
[0014] 图5显示了将早期分组丢失检测与实时传送协议（RTP)控制协议（RTCP)反馈进 行比较的速率失真图表示例；
[0015] 图6显示了使用早期分组错误检测和RTCP反馈的视频的每个帧的PSNR比较的示 例；
[0016] 图7显示了经由否定应答（NACK)欺诈的上行链路传输中的早期分组丢失检测的 示例；
[0017] 图8显示了经由NACK或者扩展报告（XR)欺诈的下行链路传输中的早期分组丢失 检测的示例；
[0018] 图9显示了下行链路传输中媒体接入控制（MAC)层重传的示例；
[0019] 图10显示了执行早期分组丢失检测和重传的传输路径上的无线链路的示例；
[0020] 图11显示了视频云游戏的早期分组丢失检测的示例；
[0021] 图12A-D显示了使用了关于WiFi和LTE栈的MMT的早期分组丢失信令的示例应 用；
[0022] 图13A是可以在其中执行一个或多个公开的实施方式的通信系统示例的系统图；
[0023] 图13B是可在图13A中示出的通信系统中使用的无线发射/接收单元（WTRU)示 例的系统结构图；
[0024] 图13C是可在图13A中示出的通信系统中使用的无线电接入网示例和核心网示例 的系统结构图；
[0025] 图13D是可在图13A中示出的通信系统中使用的无线电接入网示例和核心网示例 的系统结构图；
[0026] 图13E是可在图13A中示出的通信系统中使用的无线电接入网示例和核心网示例 的系统结构图。
【具体实施方式】
[0027] 现在参考不同图说明示意性实施方式的详细说明。虽然这个说明提供了可能的实 现的详细示例，但是应当注意细节是用于示意性地而不是限制本申请的范围。
[0028] 基础设施基本服务组（IBSS)模式中的WLAN可以具有用于基本服务组（BSS)的接 入点（AP) 170和与AP关联的一个或者多个站（STA) 190,如图1中示例所示。AP 170可以 具有到分布系统（DS)或者可以在BSS中输入或输出承载流量的其它类型的有线/无线网 络的接入或者接口。到STA 190的流量可用来自于BSS外部，可以通过AP 170到达并传送 给STA 190。来自STA 190到BSS外部目的地的流量可以发送给AP 170以传送到各自目的 地。BSS内STA 190之间的流量可以通过AP 170发送，其中源STA可以向AP 170发送流 量，AP 170可以传送流量到目的地STA。BSS内STA 190之间的流量可以包括端到端流量。 这个端到端流量可以直接在源和目的地STA之间发送，例如使用IEEE 802. lie DLS的直接 链路建立（DLS)或者IEEE 802. Ilz隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可 以没有AP，STA 190可以直接相互通信。这个通信模式可以是点对点（ad-hoc)模式。
[0029] 使用IEEE 802. 11基础设施操作模式，AP 170可以在固定信道上，通常是主信道 上发送信标。这个信道可以是20MHz宽，可以是BSS的工作信道。这个信道还可以由STA 190用于建立与AP 170的连接。IEEE 802. 11中的信道接入可以包括具有冲突避免的载波 侦听多点接入（CSMA/CA)。在这个操作模式下，STA 190,包括AP 170,可以感知主信道。如 果检测到该信道忙，STA可以回退（back off)。一个STA可以在任意给定时间在任意BSS 中发送。
[0030] 在 IEEE 802. Ilac 中，极高吞吐量（VHT) STA 可以支持例如，20MHz、40MHz、80MHz 和 /或160MHz宽的信道。40MHz和80MHz信道可以通过合并连续的20MHz信道来形成。160MHz 信道可以例如通过合并八个连续的20MHz信道，或者合并两个不连续的80MHz信道（例如， 称之为80+80配置）来形成。对于80+80配置，在信道编码之后，数据可以通过段解析器， 其可以将其划分为两个流。反向快速傅立叶变换（IFFT)，和时域处理可以在每个流上单独 进行。流可以映射到两个信道，以及可以发送数据。在接收方，这个机制可以是相反的，合 并的数据可以发送给MAC。IEEE 802. Ilac可以运行于5GHz ISM频带。
[0031] IEEE 802. Ilaf和IEEE 802. Ilah可以支持子IGHz操作模式。对于这些规范，信 道运行带宽可以相对于那些用于IEEE 802. Iln和IEEE 802. Ilac中的带宽而减少。IEEE 802. Ilaf可以在TV空白空间（TVWS)频谱中支持5MHz、IOMHz和/或20MHz带宽，IEEE 802. I Iah可以支持IMHz、2MHz、4MHz、8MHz和/或16MHz带宽，例如使用非TVWS频谱。IEEE 802. Ilah可以在宏覆盖区域中支持计量类控制（MTC)设备。MTC设备可以具有包括，例如 支持有限带宽、和要求较长电池寿命的能力。
[0032] 在支持多信道和信道带宽的WLAN系统中，例如IEEE 802. lln、IEEE 802. llac、 IEEE 802. Ilaf和/或IEEE 802. llah，可以包括被指定为主信道的信道。主信道可以具有 等于BSS中的STA 190支持的最大通用运行带宽的带宽。主信道的带宽可以由STA 190限 制，例如运行于BSS中的STA 190A、190B和/或190C的STA，其可以支持最小带宽运行模 式。例如，在IEEE 802. Ilah中，主信道可以是IMHz宽，如果有可以支持IMHz模式的STA 190(例如，MTC类设备），即使是AP170, BSS中的其它STA 190可以支持2MHz、4MHz、8MHz、 16MHz或者其它信道带宽运行模式。
[0033] 载波侦听，和NAV设置，可以依赖于主信道的状态。如果主信道忙，例如，由于支持 IMHz运行模式的STA 190向AP 170发送，可以考虑可用频带，即使其主要部分保持空闲和 可用。
[0034] 在美国，例如，IEEE 802. Ilah可以使用的可用频带可以从902MHz到928MHz。在 韩国，例如，其可以是从917. 5MHz到923. 5MHz。在日本，例如，其可以是从916. 5MHz到 927. 5MHz。IEEE 802. Ilah可用的整体带宽可以依赖于国家代码可以是6MHz到26MHz。
[0035] 图2显示了通过无线局域网（WLAN)运行的移动视频电话链路和其中的延迟示例。 不同MAC层和跨层方法可以公开，例如，中继、速率控制、选择重传、智能分组丢弃、一个流 内分组的精细优先化、和内容特定的方法。这些可以改进通过WLAN网络的视频传送。IEEE 802. 11和Wi-Fi联盟已经定义了服务质量（QoS)规定以用扩展分布媒体接入（EDCA)和混 合协调功能（HCF)控制信道接入（HCCA)来提供不同的接入优先级。
[0036] 传输错误有时可能发生。当分组在传输期间丢失时视频质量可能降低。视频解码 器可以执行错误隐蔽，并且，如果编码器已经知道丢失的分组，视频编码器就可以限制错误 传播。例如，肯定应答（ACK)和/或否定应答（NACK)可以在接收方收集起来，并作为报告 发送给发送方。报告可以例如根据IETF RFC 4585、ITU-T H. 271等等被封装，并被携带在 RTP控制协议（RTCP)报告中。如图2所示，在发送反馈报告时可以有延迟，RTCP报告的收 集时间段可以由定时规则，例如RFC 4585中规定的来调节。
[0037] 如图2所示，在运行于RTP传送协议和RTCP类反馈的移动视频电话中，例如，从 Alice (爱丽丝）210到Bob (鲍勃）240,可以包括几个通信链路（例如，从Alice 210到AP 220A到因特网230到AP 220B到Bob 240)。第一个或者本地无线链路可以是最接近发送 方的，可以具有最短延迟。当分组丢失时，可以由Bob 240发出通知（例如，Bob的视频电 话应用），并可以经由接收方传输反馈消息返回给Alice 210。接收方传输反馈消息可以包 括接收方报告、来自接收方的否定应答消息、来自接收方的肯定应答消息、RTCP接收方报告 (RR)、扩展报告等等。接收方传输反馈消息可以周期性地发送（例如，每1秒）。接收方传 输反馈消息可以很少发送。当错误通知250到达Alice 210(例如，Alice的应用）时，其 可以被用于指示视频编码器插入内部（或者IDR)帧，或者使用其他编解码器层实现来停止 解码器处的错误传播。分组丢失和接收方传输反馈消息之间的延迟越长，可能受错误影响 的视频序列的部分就越长。分组丢失和接收方传输反馈消息之间的延迟可以是至少一个往 返时间（RTT)。RTT的范围可以从50毫秒到1秒。解码器中利用了错误隐藏（EC)技术，刷 新前一秒的延迟可以导致明显的和可见的伪像（例如，"重影"）。
[0038] 在802. 11传输中的分组丢失可以及时地反馈给视频编码器，以使得错误传播可 以减轻或者减少。编码器接收到反馈越早，视频编码器阻止错误传播就越早，就可以体验到 更好质量的解码视频。在此提供了方法、系统和装置来在本地链路用信号发送早期分组丢 失检测和通知，以及在应用层使用基于反馈的视频编码方法。视频编码器和802. 11发射机 可以在相同的物理设备中，例如如图13B所示的WTRU 102(例如，智能电话手持机或者平板 电脑等）。WTRU 102可以包括与AP 170通信的STA 190,如图1所示。早期分组丢失通知 可以在确定已经在传输中丢失了分组之后（例如，之后马上）做出。早期分组丢失通知可 以在接收到与传输关联的接收方传输反馈消息之前做出。
[0039] IEEE 802. 11链路可能遭受传输错误。传输错误可以是由干扰和衰减导致的，例 如，时刻变化的无线信道条件、冲突等。速率自适应算法可以用于考虑信道/网络条件的改 变。传输错误作为速率错误折衷的一部分是不可避免的。802. 11网络可以使用载波侦听多 点接入/冲突避免（CSMA/CA)来允许多个站共享相同的无线媒介而无需集中协调。因为多 个802. 11站可以在相同时隙开始发送，冲突可能发生，其可能导致传输错误。当站数目很 大时冲突的概率可以明显或者很高。
[0040] 802. 11标准在媒体接入控制（MAC)子层中定义了自己的应答（ACK)帧。接收站可 以发送ACK控制?。ɡ?，在成功接收帧之后）。802. 11接收站可以不发送NACK帧，因为 如果接收站没有正确地接收帧，其不知道哪个或哪些站发送了该帧。在发送站侧，如果没有 接收到发送的数据帧的ACK，例如，由于传输错误或者冲突，802. IlMAC可以重新发送数据 ?。ɡ?，直至接收到ACK、预定的时间段期满或者已经达到最大的传输尝试次数）。MAC层 可以确定MAC分组传输失败。MAC层可以通过确定没有接收到ACK消息来确定MAC分组传 输失败。当