新成立的公司向税务局申请开发票需要以下几个步骤：

1. 首先，新成立的公司应先办理开户及登记，这是从税务局获得发票资格的唯一手段。新成立的公司在申请时应提供以下信息：公司营业执照、税务登记证、纳税人识别号、注册地址、注册地邮编等。

2. 根据当地税务局的规定，新成立的公司应在地税局电子税务服务系统上开通发票开具服务。公司应准备以下材料：公司营业执照复印件、纳税人识别号申请表、发票开具申请表、注册登记证书复印件、税务登记表格等。

3. 在税务局审批通过之后，新成立的公司可以在税务局认可的发票代开机构办理发票开具手续。公司在办理这些手续时，应准备相关材料：公司营业执照复印件、税务登记表格、发票开具申请表等。

4. 办理人员应提交发票开具申请表和公司相关材料，包括税务登记表格、纳税人识别号申请表、营业执照复印件、注册登记证书复印件等。随后，新成立的公司可以正式办理发票开具手续。

拓展知识：

在新成立的公司办理发票开具手续的同时，公司还需要注意以下几点：

1. 在发票代开机构办理发票开具手续时，新成立的公司应准备好相应的材料，以便办理人员可以顺利办理手续。

2. 根据税务局的规定，发票代开机构及新成立的公司应交给税务局相应的发票代开、发票使用等费用，以便可以正式办理发票开具手续。

3. 新成立的公司应不断关注税务局的最新法律法规，以便及时了解有关税收等增值税及其他方面的法令及规定。