[编程技术] 后端开发除了增删改查还有什么?
作者:CC下载站 日期:2021-11-30 14:00:51 浏览:21 分类:编程开发
背景
很多刚接触后端开发的同学,会发现,后端开发不就是增删改查吗?的确,如果你做的东西只是一个很小的流量的一个网站/平台的后端,用户量低,每秒钟访问量低,对数据的一致性和服务的稳定性要求也没那么高。那就是简单的增删改查,一台服务器连接数据库,API直接读写数据库。 可是日子久了,你发现你的网站/平台用户量和流量都上来了,代码越来越复杂,这就涉及到服务扩展,业务拆分,架构设计。
很多人找工作,公司会要求,高并发工作经验者优先,可是只做过几千几万人的服务,只是简单的增删改查,根本没接触过高并发。怎么办?
本人目前在新加坡 某电商平台 做后端开发,服务十亿级别用户,数据量百亿级别,QPS 千万级别,说一下我的经验。
后端开发,说到底,就是增删改查。但是一千用户的小网站的增删改查,和10亿用户的增删改查,是两件事情。
后端开发
起步
比如很多计算机专业的学生,大学的时候做过 图书馆管理系统,我们当那是最简单的增删改查。 这个有多简单呢,网页连接一台服务器连接数据库查询。 这就是最简单的后端,性能,一致性,扩展性,并发性都不需要考虑。数据正确就行了。
分布式
一台机器不够用了,需要多台服务器,需要分布式集群吧。
负载均衡
数据库
使用什么数据库,MySQL, TiDB, Redis等等。
部署
Jenkins
容器技术
Docker/K8s
性能监控/报警
需要监控很多东西,服务的内存/CPU/带宽使用,QPS,错误率,延迟等等。Prometheus+Grafana
日志平台
当我们的分布式部署之后,怎么统一的查看日志来定位问题。怎么把日志收集在一起,用什么储存方便搜索。ES?
微服务
业务解耦,比如登陆注册业务和订单业务就可以解耦,通过调用来获取数据。 服务注册与发现
数据拆分
服务拆分隔离了,那么数据库也要开始拆分了。 怎么拆分,分库分表,水平切分,垂直切分。
数据库性能优化
数据库性能瓶颈了,需要怎么优化,读的瓶颈怎么优化,写的瓶颈怎么优化。
缓存设计
当DB有读写性能压力的时候,需要加缓存,怎么保存缓存的一致性。
消息队列设计
同时使用人数过多,是不是有些地方可以异步,比如异步DB存储。有很多消息队列,RabbitMQ/RocketMQ/ActiveMQ/Kafka,各自怎么实现的,用哪种。
数据实时性
websocket/netty了解下。
热点数据
比如微博热点新闻,双十一0点流量。这种热点数据,你用缓存一样的解决不了,怎么办。上内存缓存吧。数据分散,担心内存太大,LRU吧。
服务限流
上游某个业务突然流量增大,影响了其他核心业务的调用,
最终保证
作为后端人员,不仅仅停留在用户端侧体验以及交互形式,更重要的是从用户的数据模型、业务场景、业务模型、系统架构设计、领域建模、业务流程以及高并发、高可靠、规模化等稳定性角度,去提升产品整体的体验和价值,解决用户的诉求。
我们只需要写好SQL语句,去数据库查到数据,返回到页面中展示就可以。
如果你经历从0到亿级别的数据增长,你一定会面临很多挑战,重构和优化,因为当我们从0开始的时候,一定不会考虑一亿的时候怎么设计。考虑的太远,严重浪费资源和增加复杂度,一定是业务量带动需求。随着系统承载的瓶颈,来带动我们对增删改查的优化。
比如如何设计?
如何设计表结构。 用户增长之后,读的瓶颈如何解决,写的瓶颈如何解决。 怎么提升缓存命中率,分库分表的原则是什么,读写分离怎么设计。 热点数据怎么储存。 数据不一致怎么保证。 服务怎么拆分,数据怎么拆分。 大促的时候更新QPS超出DB的性能瓶颈,怎么处理。流量削峰怎么设计,MQ怎么使用。 1千用户增长到1百万用户,你的数据怎么处理。DB查询速度会不会变慢,10个亿的用户呢。 为什么我明明设置了索引,却没生效? 怎么处理高并发?
1万QPS的时候怎么处理。 1百万QPS的时候怎么处理。 1千万QPS的时候怎么处理。 大促期间(双十一)的流量增长怎么解决? 微博突发热点(明星出轨)怎么保证服务器不挂? 在你增删改查的过程中,怎么去实现一些方案:
实现一个分布式ID生成方案。ID需要保证全剧唯一。 实现一个在亿级数据里面支持分页查询。(最简单的例子,朋友圈分页去查看好友动态)。 如何实现高可用?一台机器宕机之后不影响其他机器和的运行和整个服务的可用性。 如何实现服务降级和服务限流。 写增删改查简单,写好增删改查却不容易。作为后端程序员,你我要学的都还有很多。
猜你还喜欢
- 03-29 [编程相关] Winform窗体圆角以及描边完美解决方案
- 03-29 [前端问题] has been blocked by CORS policy跨域问题解决
- 03-29 [编程相关] GitHub Actions 入门教程
- 03-29 [编程探讨] CSS Grid 网格布局教程
- 10-12 [编程相关] python实现文件夹所有文件编码从GBK转为UTF8
- 10-11 [编程算法] opencv之霍夫变换:圆
- 10-11 [编程算法] OpenCV Camshift算法+目标跟踪源码
- 10-11 [Python] python 创建 Telnet 客户端
- 10-11 [编程相关] Python 基于 Yolov8 + CPU 实现物体检测
- 03-15 [脚本工具] 使用go语言开发自动化脚本 - 一键定场、抢购、预约、捡漏
- 01-08 [编程技术] 秒杀面试官系列 - Redis zset底层是怎么实现的
- 01-05 [编程技术] 《Redis设计与实现》pdf
取消回复欢迎 你 发表评论:
- 精品推荐!
-
- 最新文章
- 热门文章
- 热评文章
[动画] 迪士尼系列动画139部 国英双语音轨 【蓝光珍藏版440GB】
[电影] 莫妮卡贝鲁奇为艺术献身电影大合集 1080P超清 双语字幕
[电影] DC电影宇宙系列合集18部 4K 高码率 内嵌中英字幕 273G
[音乐] 【坤曲/4坤时】鸡你太美全网最全,385首小黑子战歌,黄昏见证虔诚的信徒,巅峰诞生虚伪的拥护!
[音乐] 用餐背景音乐大合集 [MP3/flac]
[书籍] 彭子益医书合集 [PDF/DOC]
[电影] 《环太平洋两部合集》 4K REMUX原盘 [杜比视界] 国英双语音轨 [内封特效字幕] [133.8G]
[电影] 异人之下 The Traveller 2024✨【影版】【4K正式版/HQ超高码/DDP5.1】✚【1080高码】无水印/无压缩
[动漫] 头文字D 动漫 (1998) S01-S06季 1080P 国粤日音轨 续作 剧场版 电影
[小说] 知轩藏书全站7667册txt小说合集精心校对版
[书籍] 彭子益医书合集 [PDF/DOC]
[游戏] 《黑神话悟空》免安装学习版【全dlc整合完整版】+Steam游戏解锁+游戏修改工具!
[动画] 《名侦探柯南》名侦探柯南百万美元的五菱星 [TC] [MP4]
[电视剧集] [BT下载][黑暗城市- 清扫魔 Dark City: The Cleaner 第一季][全06集][英语无字][MKV][720P/1080P][WEB-RAW]
[涨点姿势] 男性性技宝典:14招实战驭女术——爱抚、按摩、催情、姿势、高潮全攻略
[动画] 2002《火影忍者》720集全【4K典藏版】+11部剧场版+OVA+漫画 内嵌简日字幕
[剧集] 《斯巴达克斯》1-4季合集 无删减版 1080P 内嵌简英特效字幕
[CG剧情] 《黑神话:悟空》158分钟CG完整剧情合集 4K120帧最高画质
[短剧] 被下架·禁播的羞羞短剧·午夜短剧合集
[游戏] 黑神话悟空离线完整版+修改器
[影视] 美国内战 4K蓝光原盘下载+高清MKV版/内战/帝国浩劫:美国内战(台)/美帝崩裂(港) 2024 Civil War 63.86G
[影视] 一命 3D 蓝光高清MKV版/切腹 / 切腹:武士之死 / Hara-Kiri: Death of a Samurai / Ichimei 2011 一命 13.6G
[影视] 爱情我你他 蓝光原盘下载+高清MKV版/你、我、他她他 2005 Me and You and Everyone We Know 23.2G
[影视] 穿越美国 蓝光原盘下载+高清MKV版/窈窕老爸 / 寻找他妈…的故事 2005 Transamerica 20.8G
[电影] 《黄飞鸿》全系列合集
[Android] 开罗游戏 ▎像素风格的模拟经营的游戏厂商安卓游戏大合集
[游戏合集] 要战便战 v0.9.107 免安装绿色中文版
[书籍] 彭子益医书合集 [PDF/DOC]
[资源] 精整2023年知识星球付费文合集136篇【PDF格式】
[系统]【黑果小兵】macOS Big Sur 11.0.1 20B50 正式版 with Clover 5126 黑苹果系统镜像下载
- 最新评论
-
有靳东!嘻嘻奥古斯都.凯撒 评论于:10-28 流星花园是F4处女作也是4人集体搭配的唯一一部!奥古斯都.凯撒 评论于:10-28 找了好久的资源,终于在这里找到了。感谢本站的资源和分享。谢谢AAAAA 评论于:10-26 找了好久的资源,终于在这里找到了。感谢本站的资源和分享。谢谢password63 评论于:10-26 找了好久的资源,终于在这里找齐了!!!!blog001 评论于:10-21 找了好久的资源,终于在这里找齐了!!!!blog001 评论于:10-21 找了好久的资源,终于在这里找到了。感谢本站的资源和分享。谢谢WillKwok 评论于:10-09 感谢分享1234123 评论于:10-07 太好了终于找到了谢谢Tom 评论于:10-07 谢谢分享loonghd 评论于:09-30
- 热门tag