一种基于web浏览器的对象存储服务文件上传方法及系统与流程

本发明涉及云端数据处理，特别地，涉及一种基于web浏览器的对象存储服务文件上传方法及系统。

背景技术：

1、随着互联网技术的飞速发展，呈现出海量的图片、视频、文档等文件内容。对象存储服务(object?storage?service，obs)提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。凭借着对象存储obs的技术优势，越来越多的用户使用obs服务作为文件存储，备份，归档。

2、obs一般提供多种使用方式，包括obs客户端、api/sdk、管理控制台等，obs客户端是obs服务厂商提供的上传下载工具，数据是由客户端来管理，对于企业自研系统来说数据无法自动同步，需要其他方式来实现数据同步。管理控制台是obs服务厂商提供的在线文件管理控制台，对于上传文件的大小会进行限制。api/sdk方式是obs服务厂商对obs服务提供的rest?api或api封装，以简化用户的开发工作，方便企业自研系统集成obs服务。

3、对于企业来讲，使用哪种技术方式直接影响用户上传体验。由于需要实现对数据的实时管理，大部分应用系统集成obs服务采用的都是api/sdk方式。

4、目前现有技术中存在的主要问题是：对于文件大小5g以下的文件上传体验差距不大，如果是对大文件上传，如十几g、几十g、甚至上百g的大文件，往往会出现上传时间长，上传中断，异常，甚至上传失败，又得重新上传，严重影响系统的功能使用，工作效率和用户体验。常见的web端上传方法是用户通过浏览器上传文件至应用服务器，再由应用服务器上传至obs，数据需要在应用服务器中转，传输效率较低，且多任务同时上传时应用服务器压力大。

5、解决以上问题及缺陷的难度为：大文件通过应用服务器上传obs，上传数据经过中转，上传效率低，浪费网络资源，而且大文件非常容易造成内存溢出。通过web浏览器上传至obs上传页面关闭会导致上传中断，如何保证大文件稳定上传，即使断网或者关闭网页的情况下，大文件不丢失，能够继续上传而不用重新上传是解决web浏览器直传obs的难点，也是提升用户体验的关键点。

6、解决以上问题及缺陷的意义为：解决以上难点，用户可以在应用系统中直接通过web浏览器上传大文件至obs，同时对上传文件进行直接管理，不用单独下载obs客户端。在上传异?；蛘叨贤榭鱿?，可重新进入系统续传。提高上传效率的同时，极大提升了用户体验。

技术实现思路

1、本发明提供了一种基于web浏览器的对象存储服务文件上传方法及系统，实现了高效便捷的上传obs功能，大大地提升了web系统的工作效率和用户体验。

2、本发明的技术方案如下：

3、根据本发明的一个方面，提供了一种基于web浏览器的对象存储服务文件上传方法，包括如下步骤：s1.采用vue+element-ui搭建前端用户界面，用于页面数据展示及用户输入；s2.搭建数据库，用于保存整个应用系统数据，供后端应用服务器进行数据读写；s3.采用springboot+springmvc+mybatis搭建所述后端应用服务器框架，用于接收所述前端用户界面的用户输入、相关逻辑处理和连接所述数据库；s4.所述前端用户界面引入上传表单组件；s5.创建异步上传方法，请求所述后端应用服务器获取上传对象存储服务(obs)秘钥；s6.根据分片策略对大文件进行动态分片处理；s7.获取各文件上传速率和进度；s8.将各文件相关上传信息保存到所述数据库；s9.跳转打开新页面显示文件上传列表及相关上传信息；s10.监听分片文件上传情况，待全部完成上传后合并所有上传段；s11.文件上传中断、超时时保存当前上传信息，待网络恢复后支持断点续传；以及s12.向所述后端应用服务器申请签名获取下载链接以进行下载。

4、可选地，在上述基于web浏览器的对象存储服务文件上传方法中，在步骤s6中，循环获取文件大小信息以判断是否需要分片上传，是否分片上传策略是：当文件<＝500mb，直接上传所述对象存储服务；当文件>500mb是采用动态分片上传，动态分片上传策略为：先用测试文件上传测试当前网速，当上传速率<＝3mb/s，分片大小为100mb；当上传速率>3mb/s并且<7mb/s时，分片大小为200mb；当上传速率>7mb/s，分片大小为500mb。

5、可选地，在上述基于web浏览器的对象存储服务文件上传方法中，在步骤s7中，根据上传策略带上秘钥开始多文件上传对象存储服务，通过回调函数progresscallback获取各文件的上传速率，上传进度。

6、可选地，在上述基于web浏览器的对象存储服务文件上传方法中，在步骤s8中，各文件上传进度和分片文件上传进度保存到对应的所述数据库的文件上传表中。

7、可选地，在上述基于web浏览器的对象存储服务文件上传方法中，在步骤s10中，非分片文件上传对象存储服务成功后直接将文件名称、文件大小、存放地址信息保存到所述数据库，分片文件上传需要监测同一个文件的所有分片是否都上传完，如果都上传成功完成，合并上传的所有分片，并将文件信息保存到所述数据库。

8、可选地，在上述基于web浏览器的对象存储服务文件上传方法中，在步骤s11中，如果由于网络异常导致上传超时、失败，所述数据库保存已经上传的分片段，上传列表显示上传百分比和继续上传按钮，等网络恢复后继续上传，前端页面获取上次上传记录继续上传其他未上传文件片段，无需重复上传，待全部上传后合并上传片段并将完整文件信息保存在所述数据库。

9、可选地，在上述基于web浏览器的对象存储服务文件上传方法中，在步骤s12中，需要下载文件时，点击文件下载按钮，前端用户界面向所述后端应用服务器发起下载请求，后台根据文件id获取文件地址，并向所述对象存储服务获取签名生成下载链接返回所述前端用户界面，所述前端用户界面以附件的形式下载。

10、可选地，在上述基于web浏览器的对象存储服务文件上传方法中，在步骤s12中，用户通过所述前端用户界面选择大文件，点击文件选择进行文件上传，所述前端用户界面向所述后端应用服务器发送上传鉴权，所述后端应用服务器返回签名，对象存储服务验证签名允许文件上传对象存储服务。

11、根据本发明的另一个方面，提供了一种基于web浏览器的对象存储服务文件上传系统，包括：前端用户界面，用于页面数据展示及用户输入，以及实现与obs对象存储之间的上传下载数据；后端应用服务器，用于接收所述前端用户界面的用户输入、相关逻辑处理和连接数据库；对象存储服务obs，用于数据存储；以及数据库，用于保存整个应用系统数据，供所述后端应用服务器进行数据读写。

12、根据本发明的技术方案，产生的有益效果是：

13、本发明提供了一种基于web浏览器的对象存储服务文件上传方法及系统，在web端利用postobject接口直传文件至obs，使用表单上传方式上传文件至obs，省去了应用服务器的步骤，提高了传输效率，不会对服务器产生压力，且服务端签名后直传可以保证传输的安全性，用户可以不用下载obs客户端，直接在web浏览器页面进行大文件上传obs，不需要依赖obs客户端，通过跳转新页面的方式管理上传文件，支持断点续传；本发明根据当前网络环境采用动态分片技术，根据当前网速决定分片大小，兼顾上传效率和用户体验，可以有效减少因网络波动而导致的大文件上传异常，超时，失败等问题，实现了高效便捷的上传obs功能，大大地提升了web系统的工作效率和用户体验。

14、为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：