MaiXiaochai: 哦哦，解决了就好。

禾乃儿_xiuer: 好的感谢，目前就是使用airlfow的，现在已经使用它解决这个问题了，目前就是感觉调度器耗费资源特别大，其他的还没实际使用到。

MaiXiaochai: 2.像你说的队列的模式，如果rabbitmq另一侧的订阅者很多，而且是专门针对任务做处理的订阅者，那么，你的方式也是可以的。比如，你的任务队列是约定好的文字，文字内容为任务一个环节，比如：下载URL， 下载url2，或者直接就是传递的url，订阅者分别领取一个url去下载，或者去解析，也是可以的。

MaiXiaochai: 你好，不知道你说描述的问题是否是基于Airflow，如果是，可能帮不到你，这玩意儿贼难用，我们后来换别的。如果不是基于Af，iO密集型的任务和rabbitmq组合，最佳的方式应该是程序为多线程程序，每个任务一个线程，每个线程订阅一个唯一的主题（或者采用rabbitmq的其它方式，这里暂且假设你用的是订阅的模式），这样，每个任务只需要专注于自己要处理的消息或者说是数据就行，所有的任务可以共用IO资源，打到IO资源利用率最大化。

禾乃儿_xiuer: 大佬，你好！请教一个问题，我现在有很多耗时任务，io密集型的，是不是我应该把数据任务放到rabbitmq里，然后任务放完后，调度对应的任务获取work任务进行执行啊？如果他们的结果不关联，只是需要多个work节点来处理他们,加速处理！这个方案是可以的吗？