完整的实验代码在我的github上 QYHcrossover/ML-numpy: 机器学习算法numpy实现 (github.com) 欢迎star⭐

当你需要从一个弱分类器中得到强分类器的时候，Adaboost算法是一个很好的选择。Adaboost 是一种集成学习算法，主要用于二分类问题。它通过对多个分类器的集成来提高分类性能。Adaboost 会对数据集进行多次训练，并将每次训练得到的分类器加权组合，最终形成一个强分类器。

Adaboost 的核心思想是将若干个弱分类器组合成一个强分类器。弱分类器是指分类准确率略高于随机猜测的分类器，例如决策树的深度较浅、逻辑回归的迭代次数较少等。 Adaboost 算法的关键在于为每个弱分类器分配一个权重，用于计算最终分类器的输出。

Adaboost 算法的具体流程如下：

Adaboost算法的原理是基于这样一个事实：虽然弱分类器可能不能正确地分类训练数据，但是通过组合它们，我们可以得到一个更强的分类器。在每次迭代中，Adaboost将更多的关注放在上一次分类错误的样本上，以便下一次迭代时它们被正确分类的概率更高。通过这种方式，Adaboost算法不断地优化分类器，使其在分类训练数据时的准确性不断提高。

下面是使用Python实现Adaboost算法的代码。我们将使用乳腺癌数据集来演示Adaboost算法的应用。在此代码中，我们定义了一个MyAdaboost类，其中包含fit和predict方法，用于训练和预测Adaboost模型。在fit方法中，我们使用best_split方法找到最佳划分点，并使用G方法构造弱分类器的决策函数g(X)。在predict方法中，我们计算加权的弱分类器的预测结果，并返回最终预测标签。最后，我们使用score方法计算测试数据集上的分类准确度。