mirror of
https://gitee.com/jd-platform-opensource/asyncTool.git
synced 2024-12-19 03:30:30 +08:00
update README.md.
This commit is contained in:
parent
4d31f20757
commit
17879cbccc
36
README.md
36
README.md
@ -1,21 +1,33 @@
|
||||
# 并发框架说明
|
||||
# 并行框架说明
|
||||
有问题可以给作者发邮件说明,或者有特定的场景需求,感谢您的意见。wuweifeng10@jd.com
|
||||
|
||||
有对区块链感兴趣的,可以参考作者另一个[GVP项目](https://gitee.com/tianyalei/md_blockchain),java区块链底层入门
|
||||
该框架目前正在 **京东App后台** 接受苛刻、高并发、海量用户等复杂场景业务的检验测试,随时会根据实际情况发布更新和bugFix。
|
||||
|
||||
有对区块链感兴趣的,可以参考作者另一个[GVP项目](https://gitee.com/tianyalei/md_blockchain),java区块链底层入门。
|
||||
|
||||
如果只是需要用这个框架,请往下看即可。如果需要深入了解这个框架是如何一步一步实现的,从接到需求,到每一步的思考,每个类为什么这么设计,为什么有这些方法,也就是如何从0到1开发出这个框架,我在[csdn开了专栏](https://blog.csdn.net/tianyaleixiaowu/category_9637010.html)专门讲中间件如何从0开发,包括并不限于这个小框架。京东内部同事可在cf上搜索我erp也能看到。
|
||||
|
||||
#### 待办事项
|
||||
最近不少同学反馈希望支持基于文件配置的动态任务编排,考虑了一下,需要额外加个插件功能,目前功能倒无需变动。但文件的格式,如何才能准确地表达先后顺序、并行顺序、依赖关系,比较复杂,有相关需求和兴趣的可以研究一下。
|
||||
#### 并行常见的场景
|
||||
1 客户端请求服务端接口,该接口需要调用其他N个微服务的接口
|
||||
|
||||
#### 并发常见的场景
|
||||
1 客户端请求服务端接口,该接口需要调用其他N个微服务的接口。譬如 请求我的订单,那么就需要去调用用户的rpc、商品详情的rpc、库存rpc、优惠券等等好多个服务。同时,这些服务还有相互依赖关系,譬如必须先拿到用户的某个字段后,再去某rpc服务请求数据。 最终全部获取完毕后,或超时了,就汇总结果,返回给客户端。
|
||||
譬如 请求我的订单,那么就需要去调用用户的rpc、商品详情的rpc、库存rpc、优惠券等等好多个服务。同时,这些服务还有相互依赖关系,譬如必须先拿到用户的某个字段后,再去某rpc服务请求数据。 最终全部获取完毕后,或超时了,就汇总结果,返回给客户端。
|
||||
|
||||
2 工作流式的很多个任务
|
||||
2 并行执行N个任务,后续根据这1-N个任务的执行结果来决定是否继续执行下一个任务
|
||||
|
||||
3 爬虫之类的,有前后依赖关系
|
||||
如用户可以通过邮箱、手机号、用户名登录,登录接口只有一个,那么当用户发起登录请求后,我们需要并行根据邮箱、手机号、用户名来同时查数据库,只要有一个成功了,都算成功,就可以继续执行下一步。而不是先试邮箱能否成功、再试手机号……
|
||||
|
||||
#### 并发场景可能存在的需求之——任意编排
|
||||
|
||||
再如某个接口,有5个前置任务需要处理。其中有3个是必须要执行完毕才能执行后续的,另外2个是无所谓的,只要这3个执行完就可以进行下一步,到时另外2个如果成功了就有值,如果还没执行完,就是默认值。
|
||||
|
||||
3 需要进行线程隔离的多批次任务
|
||||
|
||||
如多组任务, 各组任务之间彼此不相关,每组都需要一个独立的线程池,每组都是独立的一套执行单元的组合。有点类似于hystrix的线程池隔离策略。
|
||||
|
||||
4 单机工作流任务编排
|
||||
|
||||
5 爬虫相关,有前后依赖关系
|
||||
|
||||
#### 并行场景之核心——任意编排
|
||||
1 多个执行单元的串行请求
|
||||
|
||||
![输入图片说明](https://images.gitee.com/uploads/images/2019/1226/092905_55771221_303698.png "屏幕截图.png")
|
||||
@ -40,14 +52,14 @@
|
||||
|
||||
![输入图片说明](https://images.gitee.com/uploads/images/2019/1226/093023_357a2912_303698.png "屏幕截图.png")
|
||||
|
||||
#### 并发场景可能存在的需求之——每个执行结果的回调
|
||||
#### 并行场景可能存在的需求之——每个执行结果的回调
|
||||
传统的Future、CompleteableFuture一定程度上可以完成任务编排,并可以把结果传递到下一个任务。如CompletableFuture有then方法,但是却无法做到对每一个执行单元的回调。譬如A执行完毕成功了,后面是B,我希望A在执行完后就有个回调结果,方便我监控当前的执行状况,或者打个日志什么的。失败了,我也可以记录个异常信息什么的。
|
||||
|
||||
此时,传统的就无能为力了。
|
||||
|
||||
我的框架提供了这样的回调功能。并且,如果执行失败、超时,可以在定义这个执行单元时就设定默认值。
|
||||
|
||||
#### 并发场景可能存在的需求之——执行顺序的强依赖和弱依赖
|
||||
#### 并行场景可能存在的需求之——执行顺序的强依赖和弱依赖
|
||||
如上图的3,A和B并发执行,最后是C。
|
||||
|
||||
有些场景下,我们希望A和B都执行完毕后,才能执行C,CompletableFuture里有个allOf(futures...).then()方法可以做到。
|
||||
@ -73,7 +85,7 @@
|
||||
|
||||
创建线程量少。![输入图片说明](https://images.gitee.com/uploads/images/2019/1226/093227_9633e2a8_303698.png "屏幕截图.png")
|
||||
如这样的,A会运行在B、C执行更慢的那个单元的线程上,而不会额外创建线程。
|
||||
#### async-Tool介绍
|
||||
#### asyncTool介绍
|
||||
解决任意的多线程并行、串行、阻塞、依赖、回调的并发框架,可以任意组合各线程的执行顺序,还带全链路回调和超时控制。
|
||||
|
||||
其中的A、B、C分别是一个最小执行单元(worker),可以是一段耗时代码、一次Rpc调用等,不局限于你做什么。
|
||||
|
Loading…
Reference in New Issue
Block a user