LZ之前都是使用CPU timer来评估CUDA代码的性能的，但是这样做时候没有办法给出精确答案的，除了其他因素外，最常见的时间计算误差包括线程延迟开销和操作系统调度的开销。同时，使用GPU测量的时间还取决于高精度Cpu计时器的可用性。在很多情况下，主机在GPU内核运行时执行异步计算，因此，因此为了测量GPU内核消耗的时间，CUDA提供了对应于event的API。

CUDA event是在CUDA程序中指定位置记录GPU的时间戳，在这个API中，GPU记录了对应的时间戳，消除了上面提到的两个问题。

使用CUDA event有两个测量时间的步骤：创建事件和记录事件，最后计算中间的时间，得到最后代码的整体性能。

具体的代码块如下所示

使用多个block或者thread，只是把一个任务进行并行化操作，但是并没有体现任务的并行性。任务的并行性是指可以运行多个核函数，最常见的如图像处理可以一个流做图像上下翻转，一个流做随机crop，还可以一个流做resize但是这个并不是那么灵活。

CUDA流其实是在GPU执行中GPU操作队列具体顺序。这些功能包括内核功能，内存复制操作和CUDA事件操作，而这些操作添加队列的顺序其实就是对应操作执行的顺序。每个CUDA流可以看做一个单独的任务，所以我们可以使用多个流来开启多个任务。