TestNG 是一个受 JUnit 和 NUnit 启发的测试框架，旨在简化广泛的测试需求，从单元测试到接口测试。但引入了一些新功能，使其更强大，更易于使用，例如：

编写测试通常需要三个步骤：

一个快速示例

在构建测试类之后和运行任何测试方法之前，将调用 方法 setUp()。在这个例子中，我们将快速运行组，所以 aFastTest() 将被调用，而 aSlowTest() 将被跳过。

注意事项：

使用用 ant 调用它

然后，可以浏览测试结果：

本文档中使用的概念如下：

可以通过 @BeforeXXX 和 @AfterXXX 注释来配置 TestNG 测试，该注释允许在某个点之前和之后执行某些 Java 逻辑，这些点是上面列出的项目之一。

以下是 TestNG 中可用注释及其属性的概述表。

当放置在 TestNG 类的超类上时，上述注释也将被继承。例如，这对于在公共超类中集中多个测试类的测试设置非常有用。

在这种情况下，TestNG保证“@Before”方法以继承顺序执行（首先是最高超类，然后是继承），而“@After”方法则按相反的顺序执行（向上继承链）。

@dataProvider： 将方法标记为为测试方法提供数据。记一种方法来提供测试方法的数据。 注释方法必须返回一个Object [] []，其中每个Object [] 可以被分配给测试方法的参数列表。 要从该DataProvider接收数据的 @Test 方法需要使用与此注释名称相等的dataProvider名称。

@Factory： 将方法标记为工厂，返回将由 TestNG 用作 Test 类的对象。该方法必须返回 Object []。

@Listeners ：在测试类上定义侦听器。

@Parameters： 描述如何将参数传递给 @Test 方法。

@Test ： 将类或方法标记为测试的一部分。

注意：如果未指定 invocationCount，则忽略此属性

为了方便判断测试用例是否执行成功，TestNG 特定提供了一个断言类，里面含有多种形式的断言方法。

您可以通过几种不同的方式调用 TestNG：

本节介绍 testng.xml 的格式（您将在下面找到有关ant和命令行的文档）。

这是一个示例 testng.xml 文件

指定包名

在此示例中，TestNG 将执行包 test.sample 中的所有类， 并仅保留具有 TestNG 注释的类。

指定要包含和排除的组和方法

在 testng.xml 中定义新组，并在属性中指定其他详细信息，例如是否并行运行测试，使用多少线程，是否运行测试等等... 默认情况下，TestNG 将按照 XML 文件中的顺序运行测试。如果希望此文件中列出的类和方法以不可预测的顺序运行，请将 preserve-order 属性设置为 false

测试方法用 @Test 注释。除非在 testng.xml 中将 allow-return-values 设置为 true，否则将忽略使用 @Test 注释恰好返回值的方法：

TestNG 允许执行复杂的测试方法分组。不仅可以声明方法属于组，还可以指定包含其他组的组。然后可以调用 TestNG 并要求包括一组特定的组（或正则表达式），同时排除另一组。这为分区测试提供了最大的灵活性，如果想要连续运行两组不同的测试，则不需要重新编译任何内容。

组在 testng.xml 文件中指定，可以在 < test > 或 < suite > 标记下找到。标记中指定的组适用于下面的所有 < test > 标记。请注意，组在这些标记中是累积的：如果在< suite >中指定组 “a”，在< test >中指定“b” ，则将包括“a”和“b”。

例如，至少有两类测试是很常见的

通常，签入测试是功能测试的子集。TestNG 允许以非常直观的方式使用测试组指定。例如，可以通过整个测试类属于 “functest” 组来构建测试，另外还有一些方法属于 “checkintest” 组：

TestNG 调用

将运行该类中的所有测试方法，而使用 checkintest 调用它将只运行 testMethod1() 和 testMethod2()。

这是另一个例子，这次使用正则表达式。假设某些测试方法不应该在 Linux 上运行，测试将如下所示

可以使用以下 testng.xml 仅启动 Windows 方法：

注意：TestNG 使用正则表达式，而不是 wildmats

方法组还可以排除或包含单个方法

这可以派上用来停用单个方法而不必重新编译任何东西，但是不建议过多地使用这种技术，因为如果开始重构你的 Java 代码（正则表达式中使用的正则表达式），它会使你的测试框架崩溃。标签可能不再符合您的方法）。

组还可以包括其他组。这些组称为 “MetaGroups”。例如，您可能希望定义包含 “checkintest” 和 “functest” 的组 “all”。“functest” 本身将包含 “windows” 和 “linux” 组，而 “checkintest” 将只包含 ”windows“。以下是如何在属性文件中定义它：

TestNG 允许包括组以及排除它们。

例如，由于最近的更改而暂时中断测试通常很常见，而还没有时间修复破损。但是，确实想要进行功能测试的干净运行，因此需要停用这些测试，但请记住需要重新激活它们。解决此问题的一种简单方法是创建一个名为 “broken” 的组，并使这些测试方法属于它。例如，在上面的例子中，我知道 testMethod2() 现在已经坏了所以我想禁用它：

我现在需要做的就是从运行中排除这个组：

这样将获得一个干净的测试运行，同时跟踪哪些测试被破坏，需要稍后修复。

注意：还可以使用 @Test 和 @Before / After 注释上的 “enabled” 属性逐个禁用测试。

可以在类级别定义组，然后在方法级别添加组：

在这个类中，method2() 是 “checkin-test” 组的一部分，它在类级定义，而 method1() 属于 “checkin-test” 和 “func-test”。

测试方法不必是无参数的。可以在每个测试方法上使用任意数量的参数，并指示 TestNG 使用 @Parameters 注释传递正确的参数。

有两种方法可以设置这些参数：

如果对参数使用简单值，则可以在 testng.xml 中指定它们 ：

在此代码中，我们指定Java方法的参数 firstName 应该接收名为 first-name 的 XML 参数的值。 此 XML 参数在 testng.xml 中 定义：

@Before / After 和 @Factory 注释可以使用相同的技术：

这次，两个 Java 参数 ds 和驱动程序将分别接收赋予属性 datasource 和 jdbc-driver 的值。 可以使用 Optional 注释将参数声明为可选：

如果在 testng.xml 文件中找不到名为 “db” 的参数，则测试方法将接收 @Optional 注释中指定的默认值：“mysql” 。在 @Parameters 可以被放置在下列位置：

注意：

如果需要传递复杂参数或需要从 Java 创建的参数（复杂对象，从属性文件或数据库读取的对象等等），则在 testng.xml 中指定参数可能不够。在这种情况下，您可以使用数据提供程序提供测试所需的值。数据提供程序是类上的一个方法，它返回一组对象数组。此方法使用 @DataProvider 注释：

将打印

甲 @Test 方法指定了与数据提供数据提供程序属性。此名称必须对应于 使用匹配名称的 @DataProvider（name =“...”）注释的同一类上的方法。默认情况下，将在当前测试类或其中一个基类中查找数据提供程序。如果要将数据提供程序放在不同的类中，则需要使用静态方法或具有非 arg 构造函数的类，并指定可在 dataProviderClass 属性中找到的类：

数据提供者也支持注入。TestNG 将使用测试上下文进行注射。Data Provider方法可以返回以下两种类型之一：一组对象数组（Object [] []），其中第一个维度的大小是调用测试方法的次数，第二个维度大小包含必须与测试的参数类型兼容的对象数组方法。这是上述示例所示的情况。一个迭代< Object [] [] > 。与Object [] []的唯一区别在于 Iterator 允许您懒惰地创建测试数据。TestNG 将调用迭代器，然后使用此迭代器返回的参数逐个调用测试方法。如果您有许多参数集要传递给方法，并且您不想预先创建所有参数集，则此功能特别有用。以下是此功能的示例：

如果您将 @DataProvider 声明为将 java.lang.reflect.Method 作为第一个参数，则 TestNG 将为此第一个参数传递当前测试方法。当多个测试方法使用相同的 @DataProvider 并且您希望它根据为其提供数据的测试方法返回不同的值时，这尤其有用。例如，以下代码在其 @DataProvider 中打印测试方法的名称：

因此将显示：

数据提供程序可以与并行属性并行运行：

从 XML 文件运行的并行数据提供程序共享相同的线程池，默认情况下大小为 10。您可以在 XML 文件的< suite >标记中修改此值：

如果要在不同的线程池中运行几个特定的​​数据提供程序，则需要从其他XML文件运行它们。

有时，您需要按特定顺序调用测试方法。这里有一些例子：在运行更多测试方法之前，确保已完成并成功执行一定数量的测试方法。要初始化测试，同时希望这个初始化方法也是测试方法（使用 @Before / After 标记的方法不会成为最终报告的一部分）。TestNG 允许您使用注释或 XML 指定依赖项。

您可以使用属性 dependsOnMethods 或 dependsOnGroups，对发现的@Test注解。

有两种依赖关系：

以下是硬依赖的示例：

在此示例中，method1() 声明为依赖于方法 serverStartedOk() ，这保证始终首先调用 serverStartedOk() 。

您还可以拥有依赖于整个组的方法：

在此示例中，method1（）声明为依赖于与正则表达式“init。*”匹配的任何组，这保证了方法serverStartedOk（） 和initEnvironment（）将始终在method1（）之前调用。

注意：如前所述，对于属于同一组的方法，调用顺序不保证在测试运行中是相同的。

如果依赖的方法失败并且您对它有一个硬依赖（ alwaysRun = false，这是默认值），依赖它的方法不会 标记为 FAIL 而是标记为 SKIP。跳过的方法将在最终报告中报告（在 HTML中颜色既不是红色也不是绿色），这很重要，因为跳过的方法不一定是失败的。

无论 dependsOnGroups 和 dependsOnMethods 接受正则表达式作为参数。对于 dependsOnMethods，如果您依赖于碰巧有多个重载版本的方法，则将调用所有重载的方法。如果您只想调用其中一个重载方法，则应使用 dependsOnGroups。

默认情况下，依赖方法按类分组。例如，如果方法b（）依赖于方法a（），并且您有几个包含这些方法的类的实例（因为数据提供程序的工厂），则调用顺序如下：

在所有实例调用其 a() 方法之前， TestNG 不会运行 b() 。在某些情况下可能不希望出现这种情况，例如测试登录和退出各个国家/地区的Web浏览器。在这种情况下，您需要以下订购：

对于此排序，可以逐个实例使用 XML 属性。此属性在 < suite > 或 < test > 上有效：

可以在 testng.xml 文件中指定组依赖项。使用 < dependencies > 标记来实现此目的：

以上所述 < depends-on > 属性包含一个以空格分隔的组列表。

工厂允许动态创建测试。例如，假设要创建一个将多次访问网站上的页面的测试方法，并且希望使用不同的值调用它：

这很快就无法管理，所以你应该使用工厂

现在新的测试类

您的 testng.xml 只需要引用包含工厂方法的类，因为测试实例本身将在运行时创建

或者，如果以编程方式构建测试套件实例，则可以按照与测试相同的方式添加工厂

工厂方法可以像 @Test 和 @Before / After 一样接收参数，它必须返回 Object [] 。返回的对象可以是任何类（不一定是与工厂类相同的类），它们甚至不需要包含 TestNG 注释（在这种情况下，它们将被 TestNG 忽略）。

工厂也可以与数据提供者一起使用，您可以通过将 @Factory 注释放在常规方法或构造函数上来利用此功能。以下是构造函数工厂的示例：

该示例将使TestNG创建两个测试类，使用值41调用构造函数，另一个调用42。

TestNG允许您忽略所有@Test方法：

使用新注释 @Ignore。在方法级别使用 @Ignore 注释在功能上等同于 @Test（enabled = false）。这是一个示例，显示如何忽略类中的所有测试。

该 @Ignore 注释具有比个人更高的优先级 @Test 方法的注释。当 @Ignore 放在一个类上时，该类中的所有测试都将被禁用。要忽略特定包中的所有测试，只需创建 package-info.java 并将 @Ignore 注释添加到其中。这是一个示例：

这会导致 com.testng.master 包及其所有子包中的所有 @Test 方法都被忽略。

可以指示 TestNG 以各种方式在单独的线程中运行测试。

如果您运行多个套件文件（例如“ java org.testng.TestNG testng1.xml testng2.xml”）并且希望每个套件都在一个单独的线程中运行，这将非常有用。您可以使用以下命令行标志来指定线程池的大小：

相应的 ant 任务名称是 suitethreadpoolsize。

在平行于 < suite > 属性标签可以采取以下值之一：

此外，属性 thread-count 允许指定应为此执行分配的线程数。注意：@Test 属性 timeOut 在并行和非并行模式下都有效。

您还可以指定应从不同的线程调用 @Test 方法。您可以使用 threadPoolSize 属性来实现此结果：

在此示例中，函数 testServer 将从三个不同的线程调用十次。此外，超时十秒可确保所有线程都不会永久阻塞此线程。

每次测试在套件中失败时，TestNG 都会在输出目录中创建一个名为 testng-failed.xml 的文件。此 XML 文件包含仅重新运行失败的这些方法的必要信息，使您可以快速重现故障，而无需运行整个测试。因此，典型的会话将如下所示：

请注意，testng-failed.xml 将包含所有必需的依赖方法，以便您可以保证在没有任何 SKIP 故障的情况下运行失败的方法。

有时，您可能希望TestNG在失败时自动重试测试。在这些情况下，您可以使用重试分析器。当您将重试分析器绑定到测试时，TestNG会自动调用重试分析器以确定TestNG是否可以再次重试测试用例，以尝试查看现在刚刚失败的测试是否通过。以下是使用重试分析器的方法：构建 org.testng.IRetryAnalyzer 接口的实现将此实现绑定到 @Test 注释，例如 @Test（retryAnalyzer = LocalRetry.class）以下是重试分析器的示例实现，重试测试最多三次。

TestNG 支持 YAML作为指定套件文件的替代方法。例如，以下 XML 文件：

这是它的YAML版本：

这是 TestNG 自己的套件文件，以及它的 YAML 对应文件。您可能会发现 YAML 文件格式更易于阅读和维护。TestNG Eclipse 插件也可以识别 YAML 文件。

注意：默认情况下，TestNG 不会将 YAML 相关库引入您的类路径。因此，根据您的构建系统（Gradle / Maven），您需要在构建文件中添加对 YAML 库的显式引用。

例如，如果使用的是 Maven，则需要在pom.xml文件中添加如下依赖项：

参考资料：[1] https://testng.org/doc/index.html