理工酷

基于异步架构的图片管理系统后端设计和实现

一、研究目的

抽象图片的常用处理过程，拆分过程，优化处理流程，将没有依赖关系的过程改为并发处理，将非核心逻辑异步化。从而达到优化用户体验、系统削峰、增加系统可扩展性的目的。提供图片异步化架构的后台通用设计方案和实现，供有需要的开发者做参考。

二、研究方法

1. 需求收集，从网上调研、用户调研收集、挖掘图片管理网站[5]常见需求。
2. 分析需求，设计图片管理流程。
3. 流程优化，将没有依赖关系的步骤并发进行，非核心路径异步化处理。
4. 架构设计，异步通过消息队列实现，调研相关存储系统。
5. 架构实现，编写代码，实现系统相关功能。
6. 结果测试，测试系统的正确性，以及系统的处理时延、并发量、吞吐量等数据。

三、研究结论

架构设计将数据状态保存在独立组件中，本系统实现了服务无状态化，可实现水平扩展。

四、目录

第1章 绪论   1.1研究背景   1.2 国内外研究现状   1.3 研究目的及意义   1.4 课题研究内容 第2章 图片管理系统需求分析   2.1需求分析概述     2.1.1需求分析的目的     2.1.2需求分析的流程图   2.2开发背景   2.3开发目标   2.4可行性分析     2.4.1经济可行性分析     2.4.2工程上可行性分析   2.5功能模块需求分析     2.5.1用例图设计   2.6非功能性需求   2.7本章小结 第3章 相关理论与技术   3.1图片管理系统前端与后端   3.2开发工具及环境介绍     3.2.1Go编程语言     3.2.2MySQL关系型数据库     3.2.3Redis缓存系统     3.2.4HDFS分布式存储     3.2.5NSQ消息队列     3.2.6Docker容器部署   3.3通信协议   3.4开发框架     3.4.1消息队列NSQ客户端go-nsq     3.4.2HDFS客户端WebHdfs     3.4.3MySQL关系型数据库ORM Gorm     3.4.4Redis缓存客户端go-redis   3.5本章小结 第4章 基于异步架构的图片管理网站的后端设计   4.1概要设计     4.1.1设计思想     4.1.2系统功能结构     4.1.3层次结构   4.2架构设计     4.2.1设计模式     4.2.2系统组件选择     4.2.3系统组件交互   4.3处理流程设计     4.3.1上传     4.3.2删除图片     4.3.3下载图片处理流程     4.3.4查看用户上传历史     4.3.5查看图片元数据   4.4数据库设计     4.4.1用户信息表设计     4.4.2图片元数据表   4.5存储系统中Key设计     4.5.1Redis键设计     4.5.2HDFS键设计   4.6消息队列消息格式设计     4.6.1图片上传消息设计     4.6.2图片删除消息设计   4.7本章小结 第5章 基于异步架构的图片管理系统后端实现   5.1接口调试     5.1.1上传图片     5.1.2删除图片     5.1.3查看上传历史     5.1.4查看图片元数据     5.1.5下载图片   5.2系统运维     5.2.1NSQ运维     5.2.2HDFS运维   5.3系统测试     5.3.1上传图片接口     5.3.2删除图片接口     5.3.3下载图片接口   5.4本章小结 第6章 总结与展望   6.1研究总结   6.2研究展望 参考文献 致谢

来源https://github.com/g10guang/graduation