From 17879cbccc315a5a45e06cd9da0067176640436c Mon Sep 17 00:00:00 2001 From: tianyaleixiaowu <272551766@qq.com> Date: Mon, 10 Feb 2020 11:02:34 +0800 Subject: [PATCH] update README.md. --- README.md | 36 ++++++++++++++++++++++++------------ 1 file changed, 24 insertions(+), 12 deletions(-) diff --git a/README.md b/README.md index 5d22206..7c32281 100644 --- a/README.md +++ b/README.md @@ -1,21 +1,33 @@ -# 并发框架说明 +# 并行框架说明 有问题可以给作者发邮件说明，或者有特定的场景需求，感谢您的意见。wuweifeng10@jd.com -有对区块链感兴趣的，可以参考作者另一个[GVP项目](https://gitee.com/tianyalei/md_blockchain)，java区块链底层入门 +该框架目前正在 **京东App后台** 接受苛刻、高并发、海量用户等复杂场景业务的检验测试，随时会根据实际情况发布更新和bugFix。 + +有对区块链感兴趣的，可以参考作者另一个[GVP项目](https://gitee.com/tianyalei/md_blockchain)，java区块链底层入门。 如果只是需要用这个框架，请往下看即可。如果需要深入了解这个框架是如何一步一步实现的，从接到需求，到每一步的思考，每个类为什么这么设计，为什么有这些方法，也就是如何从0到1开发出这个框架，我在[csdn开了专栏](https://blog.csdn.net/tianyaleixiaowu/category_9637010.html)专门讲中间件如何从0开发，包括并不限于这个小框架。京东内部同事可在cf上搜索我erp也能看到。 -#### 待办事项 -最近不少同学反馈希望支持基于文件配置的动态任务编排，考虑了一下，需要额外加个插件功能，目前功能倒无需变动。但文件的格式，如何才能准确地表达先后顺序、并行顺序、依赖关系，比较复杂，有相关需求和兴趣的可以研究一下。 +#### 并行常见的场景 +1 客户端请求服务端接口，该接口需要调用其他N个微服务的接口 -#### 并发常见的场景 -1 客户端请求服务端接口，该接口需要调用其他N个微服务的接口。譬如 请求我的订单，那么就需要去调用用户的rpc、商品详情的rpc、库存rpc、优惠券等等好多个服务。同时，这些服务还有相互依赖关系，譬如必须先拿到用户的某个字段后，再去某rpc服务请求数据。 最终全部获取完毕后，或超时了，就汇总结果，返回给客户端。 + 譬如 请求我的订单，那么就需要去调用用户的rpc、商品详情的rpc、库存rpc、优惠券等等好多个服务。同时，这些服务还有相互依赖关系，譬如必须先拿到用户的某个字段后，再去某rpc服务请求数据。 最终全部获取完毕后，或超时了，就汇总结果，返回给客户端。 -2 工作流式的很多个任务 +2 并行执行N个任务，后续根据这1-N个任务的执行结果来决定是否继续执行下一个任务 -3 爬虫之类的，有前后依赖关系 + 如用户可以通过邮箱、手机号、用户名登录，登录接口只有一个，那么当用户发起登录请求后，我们需要并行根据邮箱、手机号、用户名来同时查数据库，只要有一个成功了，都算成功，就可以继续执行下一步。而不是先试邮箱能否成功、再试手机号…… -#### 并发场景可能存在的需求之——任意编排 + + 再如某个接口，有5个前置任务需要处理。其中有3个是必须要执行完毕才能执行后续的，另外2个是无所谓的，只要这3个执行完就可以进行下一步，到时另外2个如果成功了就有值，如果还没执行完，就是默认值。 + +3 需要进行线程隔离的多批次任务 + + 如多组任务， 各组任务之间彼此不相关，每组都需要一个独立的线程池，每组都是独立的一套执行单元的组合。有点类似于hystrix的线程池隔离策略。 + +4 单机工作流任务编排 + +5 爬虫相关，有前后依赖关系 + +#### 并行场景之核心——任意编排 1 多个执行单元的串行请求 ![输入图片说明](https://images.gitee.com/uploads/images/2019/1226/092905_55771221_303698.png "屏幕截图.png") @@ -40,14 +52,14 @@ ![输入图片说明](https://images.gitee.com/uploads/images/2019/1226/093023_357a2912_303698.png "屏幕截图.png") -#### 并发场景可能存在的需求之——每个执行结果的回调 +#### 并行场景可能存在的需求之——每个执行结果的回调 传统的Future、CompleteableFuture一定程度上可以完成任务编排，并可以把结果传递到下一个任务。如CompletableFuture有then方法，但是却无法做到对每一个执行单元的回调。譬如A执行完毕成功了，后面是B，我希望A在执行完后就有个回调结果，方便我监控当前的执行状况，或者打个日志什么的。失败了，我也可以记录个异常信息什么的。 此时，传统的就无能为力了。 我的框架提供了这样的回调功能。并且，如果执行失败、超时，可以在定义这个执行单元时就设定默认值。 -#### 并发场景可能存在的需求之——执行顺序的强依赖和弱依赖 +#### 并行场景可能存在的需求之——执行顺序的强依赖和弱依赖 如上图的3，A和B并发执行，最后是C。 有些场景下，我们希望A和B都执行完毕后，才能执行C，CompletableFuture里有个allOf(futures...).then()方法可以做到。 @@ -73,7 +85,7 @@ 创建线程量少。![输入图片说明](https://images.gitee.com/uploads/images/2019/1226/093227_9633e2a8_303698.png "屏幕截图.png") 如这样的，A会运行在B、C执行更慢的那个单元的线程上，而不会额外创建线程。 -#### async-Tool介绍 +#### asyncTool介绍 解决任意的多线程并行、串行、阻塞、依赖、回调的并发框架，可以任意组合各线程的执行顺序，还带全链路回调和超时控制。 其中的A、B、C分别是一个最小执行单元（worker），可以是一段耗时代码、一次Rpc调用等，不局限于你做什么。