跟着ChatGPT学习

您所在的位置：网站首页 › stdforward作用 › 跟着ChatGPT学习

跟着ChatGPT学习

2023-03-09 07:02| 来源: 网络整理| 查看: 265

（一）numpy库的概念和作用

1．numpy库的定义和概念

NumPy（Numerical Python）是Python科学计算中最重要的库之一，其主要目的是提供高效的数组和矩阵操作，为科学计算提供一个强大的基础工具库。NumPy是Python科学计算生态系统的基石，可以处理数值计算，图像处理，机器学习，深度学习，自然语言处理，文本处理等多个领域的任务，它的重要性可与Python语言的核心库之一的标准库相媲美。

NumPy主要提供了两个重要的对象，即ndarray和ufunc。 ndarray是NumPy中最重要的对象，它是一个n维数组对象，它的基本类型是元素相同且固定大小的多维数组，支持高效的数学运算和大数据处理

ndarray对象是NumPy库的核心对象，也是NumPy和其他科学计算库（如SciPy）无缝集成的基础。 ufunc（universal function）是NumPy中另一个重要的对象，它是一种可以对数组进行逐元素操作的函数，ufunc函数可以支持多种数据类型，例如加法、乘法、指数运算等，可以对数组进行快速的元素级别运算。NumPy中提供的所有数学函数都是ufunc的形式。

2．numpy库的作用和价值

NumPy是Python语言中用于数值计算的基础库，主要用于处理数组、矩阵和其他数值数据。它提供了高效的数组操作和数学函数，支持广泛的科学计算，同时还有丰富的线性代数和随机数生成函数，是Python生态系统中不可或缺的一部分。

numpy库的主要作用在于：

（1）高效处理数组和矩阵数据：NumPy提供了一种高效的数组对象ndarray，它可以表示任意维度的数组和矩阵，并提供了丰富的数组和矩阵操作，如元素访问、运算、切片、索引、合并和分割等，大大提高了数据处理的效率和便利性。

（2）广泛支持数学和科学计算：NumPy内置了许多数学函数和科学计算函数，如三角函数、指数函数、对数函数、统计函数等，可以满足各种科学计算需求，同时也可以自定义函数。

（3）丰富的线性代数和随机数生成函数：NumPy还提供了丰富的线性代数函数，如矩阵求逆、矩阵求解、矩阵特征值等，可以方便地进行线性代数计算。此外，NumPy还提供了伪随机数生成器，可以用于生成各种分布的随机数序列。

（4）与其他科学计算库无缝集成：NumPy是Python科学计算生态系统的核心库，与其他科学计算库（如SciPy、pandas等）无缝集成，可以提供更广泛的科学计算功能和更高效的计算性能。

总之，NumPy作为Python中的数值计算基础库，拥有着广泛的应用场景和重要的价值。它不仅可以用于科学计算和数据分析，还可以用于机器学习、深度学习、计算机视觉、自然语言处理等领域。

（二）numpy库的优劣1．numpy库的优点

NumPy是Python的一个强大的数学库，提供了高效的数组和矩阵操作、广泛的数学和科学计算、丰富的线性代数和随机数生成函数，以及与其他科学计算库（如SciPy）无缝集成的优点。以下将对这些优点进行详细解释。

首先，NumPy的高效的数组和矩阵操作是其最显著的特点之一。NumPy中的数组对象是一个存储同类型元素的多维数组，具有许多方便的方法和操作。它们可以使用广播等方式在不需要显式循环的情况下进行数学运算，这使得它们比Python的原生列表更加高效。此外，NumPy还提供了各种针对矩阵操作的函数，如矩阵乘法、转置和逆等。

其次，NumPy支持广泛的数学和科学计算。NumPy中有许多常用的数学函数，如三角函数、指数函数和对数函数等。此外，NumPy还提供了用于数组中元素排序、去重和统计的函数。这些函数是数据分析和科学计算的基础，使得NumPy成为了Python数据科学生态系统中的重要组成部分。

第三，NumPy提供了丰富的线性代数和随机数生成函数。NumPy中有许多针对线性代数的函数，如矩阵分解、特征值计算和奇异值分解等。这些函数使得线性代数的计算更加方便和高效。此外，NumPy还提供了用于生成各种分布的随机数的函数，如正态分布、均匀分布和泊松分布等，这些函数对于模拟和随机化实验非常有用。

最后，NumPy与其他科学计算库（如SciPy）无缝集成。NumPy是SciPy的基础，SciPy是一个用于科学计算和数据分析的高级Python库，包括优化、信号处理、统计和数据可视化等功能。NumPy和SciPy的结合可以提供更加完整和高效的科学计算环境。

综上所述，NumPy具有高效的数组和矩阵操作、广泛的数学和科学计算、丰富的线性代数和随机数生成函数、与其他科学计算库（如SciPy）无缝集成等优点，使得它成为了Python数据科学生态系统中的一个不可或缺的组成部分。

2．numpy库的缺点

对于初学者来说，Numpy的学习曲线可能会较陡峭，因为它需要掌握一些基本的概念和语法，例如数组和矩阵的创建和操作、数组和矩阵的运算和计算、数组和矩阵的切片和索引、数组和矩阵的合并和分割等。这些概念和语法可能需要花费一定的时间和精力去学习和掌握。

另外，Numpy在处理大型、复杂的数据集方面也存在一些限制。由于Numpy是基于内存的操作，当数据集过大时，可能会导致内存不足的问题。因此，对于大型、复杂的数据集，可能需要使用其他的库或工具来进行处理。

此外，Numpy也可能会出现内存泄漏等性能问题。虽然Numpy在内存管理方面做了一些优化，但是在一些特定的情况下，可能会出现内存泄漏等问题。因此，在使用Numpy时，需要注意内存管理和性能优化等方面的问题。

（三）numpy库的使用1．安装和导入numpy库（python）（1）安装方式介绍

在cmd中输入pip install numpy

（2）导入方式介绍

import numpy as np，其中“np”是一个约定俗成的别名，可以简化代码书写。

2．numpy库的基础使用方法 （1）创建数组import numpy as np # 创建一维数组arr1 = np.array([1, 2, 3, 4])print(arr1) # 创建二维数组arr2 = np.array([[1, 2], [3, 4]])print(arr2) # 创建全0数组zeros = np.zeros((2, 3))print(zeros) # 创建全1数组ones = np.ones((2, 3))print(ones) # 创建随机数数组rand = np.random.rand(2, 3)print(rand)（2）数组操作# 数组的形状和大小arr = np.array([[1, 2], [3, 4], [5, 6]])print(arr.shape) # 输出(3, 2)print(arr.size) # 输出6 # 数组的重塑arr = np.array([1, 2, 3, 4, 5, 6])print(arr.reshape((2, 3))) # 数组的转置arr = np.array([[1, 2], [3, 4]])print(arr.transpose())（3）数组运算a = np.array([1, 2, 3, 4])b = np.array([2, 3, 4, 5]) # 加法print(a + b) # 减法print(a - b) # 乘法print(a * b) # 除法print(a / b) # 取余print(a % b) # 求幂print(a ** b)（4）矩阵运算import numpy as np # 创建矩阵A = np.array([[1, 2], [3, 4]])B = np.array([[5, 6], [7, 8]]) # 矩阵加法C = A + Bprint("矩阵加法结果：")print(C) # 矩阵减法C = A - Bprint("矩阵减法结果：")print(C) # 矩阵数乘k = 2C = k * Aprint("矩阵数乘结果：")print(C) # 矩阵点乘C = A.dot(B)print("矩阵点乘结果：")print(C) # 矩阵转置C = A.Tprint("矩阵转置结果：")print(C) # 矩阵求逆C = np.linalg.inv(A)print("矩阵求逆结果：")print(C)

矩阵加法结果：[[ 6 8] [10 12]]

矩阵减法结果：[[-4 -4] [-4 -4]]

矩阵数乘结果：[[2 4] [6 8]]

矩阵点乘结果：[[19 22] [43 50]]

矩阵转置结果：[[1 3] [2 4]]

矩阵求逆结果：[[-2. 1. ] [ 1.5 -0.5]]

（5）数组和矩阵的切片和索引 # 切片操作，取第二个到第四个元素arr_slice = arr[1:4]print(arr_slice)# 切片操作，取第一行到第二行，第一列到第二列的元素matrix_slice = matrix[0:2, 0:2]print(matrix_slice)# 索引操作，取第二个元素print(arr[1])# 索引操作，取第一行第一列的元素print(matrix[0, 0])（6）数组和矩阵的合并和分割# 垂直合并两个数组a = np.array([1, 2, 3])b = np.array([4, 5, 6])c = np.vstack((a, b))print(c) # 水平合并两个数组d = np.array([7, 8, 9])e = np.hstack((a.reshape(-1, 1), d.reshape(-1, 1)))print(e) # 合并多个数组f = np.concatenate((a, b, d))print(f)# 水平分割矩阵g = np.hsplit(matrix, 3)print(g) # 垂直分割矩阵h = np.vsplit(matrix, 3)print(h) # 分割一维数组i = np.array([1, 2, 3, 4, 5, 6])j = np.split(i, 3)print(j)3．numpy库的高级应用 （1）统计分析和数据可视化

NumPy提供了丰富的统计分析函数和数据可视化工具，可以方便地进行数据分析和可视化。以下是一些常用的函数和工具：

统计分析函数：NumPy提供了一系列用于统计分析的函数，包括求和、均值、标准差、方差、最小值、最大值、中位数等。这些函数可以对一维、二维、多维数组进行操作，非常方便。

import numpy as np # 创建一个二维数组a = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) # 求和、均值、标准差、方差、最小值、最大值、中位数print(np.sum(a)) # 45print(np.mean(a)) # 5.0print(np.std(a)) # 2.581988897471611print(np.var(a)) # 6.666666666666667print(np.min(a)) # 1print(np.max(a)) # 9print(np.median(a)) # 5.0

直方图：直方图是一种常用的数据可视化工具，可以显示数据的分布情况。NumPy提供了hist函数来绘制直方图。

import matplotlib.pyplot as plt # 创建一个一维数组a = np.array([1, 1, 2, 2, 2, 3, 3, 4, 5, 5]) # 绘制直方图plt.hist(a, bins=5, color='green')plt.show()

箱线图：箱线图也是一种常用的数据可视化工具，可以显示数据的分布情况和异常值。NumPy提供了boxplot函数来绘制箱线图。

# 创建一个一维数组a = np.array([1, 1, 2, 2, 2, 3, 3, 4, 5, 5, 10]) # 绘制箱线图plt.boxplot(a)plt.show()

散点图：散点图是一种常用的数据可视化工具，可以显示两个变量之间的关系。NumPy提供了scatter函数来绘制散点图。

# 创建两个一维数组x = np.array([1, 2, 3, 4, 5])y = np.array([2, 4, 6, 8, 10]) # 绘制散点图plt.scatter(x, y, color='red')plt.show()

除了以上常用的函数和工具，NumPy还提供了其他一些高级的统计分析和数据可视化工具，例如概率分布函数、随机数生成函数、线性回归函数等。这些工具可以帮助用户更加高效地进行数据分析

（2）机器学习和深度学习

NumPy库在机器学习和深度学习领域也有着广泛的应用。下面是一些常用的例子：

1) 数据预处理

在机器学习和深度学习任务中，数据预处理是一个非常重要的步骤。NumPy库可以用于对数据进行预处理和清洗，例如：

import numpy as np # 创建一个随机的数据集data = np.random.randn(1000, 10) # 将数据集标准化data_mean = np.mean(data, axis=0)data_std = np.std(data, axis=0)data = (data - data_mean) / data_std # 将数据集拆分为训练集和测试集train_data = data[:800]test_data = data[800:]

2) 神经网络

import numpy as np # 创建一个全连接层class FullyConnectedLayer: def __init__(self, input_size, output_size): self.weights = np.random.randn(input_size, output_size) self.biases = np.zeros(output_size) def forward(self, input_data): return np.dot(input_data, self.weights) + self.biases # 创建一个激活函数层class ActivationLayer: def __init__(self, activation_function): self.activation_function = activation_function def forward(self, input_data): return self.activation_function(input_data) # 创建一个神经网络模型class NeuralNetwork: def __init__(self): self.layers = [ FullyConnectedLayer(10, 5), ActivationLayer(np.tanh), FullyConnectedLayer(5, 1), ActivationLayer(np.sigmoid) ] def forward(self, input_data): x = input_data for layer in self.layers: x = layer.forward(x) return x # 测试神经网络模型nn = NeuralNetwork()input_data = np.random.randn(10)output_data = nn.forward(input_data)print(output_data)（3）图像处理和计算机视觉

1) Numpy中的图像表示和读取

import numpy as npfrom PIL import Image # 使用Numpy数组表示图像img = np.array(Image.open('image.png')) # 读取图像文件img = Image.open('image.png')

2) 图像的基本操作

import numpy as npfrom PIL import Image # 图像缩放、旋转、翻转、裁剪img = np.array(Image.open('image.png'))img_resize = np.array(Image.fromarray(img).resize((width, height)))img_rotate = np.array(Image.fromarray(img).rotate(angle))img_flip = np.array(Image.fromarray(img).transpose(Image.FLIP_LEFT_RIGHT))img_crop = np.array(Image.fromarray(img).crop((x1, y1, x2, y2))) # 图像融合、加减、混合img_add = np.array(Image.fromarray(img1).add(img2))img_subtract = np.array(Image.fromarray(img1).subtract(img2))img_blend = np.array(Image.blend(img1, img2, alpha)) # 图像阈值、二值化img_threshold = np.array(Image.fromarray(img).point(lambda x: 255 if x > threshold else 0))img_binary = np.array(Image.fromarray(img).convert('1')) # 边缘检测、轮廓提取img_edges = np.array(Image.fromarray(img).filter(ImageFilter.FIND_EDGES))img_contours = np.array(Image.fromarray(img).contour())

3) 彩色图像处理

import numpy as npfrom PIL import Image # RGB和HSV颜色空间img_rgb = np.array(Image.open('image.png').convert('RGB'))img_hsv = np.array(Image.open('image.png').convert('HSV')) # 颜色空间转换img_hsv = np.array(Image.fromarray(img_rgb).convert('HSV'))img_rgb = np.array(Image.fromarray(img_hsv).convert('RGB')) # 色彩分离和合并img_r, img_g, img_b = np.dsplit(img_rgb, 3)img_rgb = np.dstack((img_r, img_g, img_b)) # 图像平滑、锐化img_smooth = np.array(Image.fromarray(img).filter(ImageFilter.BLUR))img_sharp = np.array(Image.fromarray(img).filter(ImageFilter.SHARPEN))

4) 图像特征提取

import numpy as npfrom PIL import Imagefrom scipy.ndimage import filters # Harris角点检测def compute_harris_response(im, sigma=3): # 计算x、y方向的Sobel导数 dx = filters.sobel(im, 0) dy = filters.sobel(im, 1) # 计算Harris矩阵的三个分量 Sxx = dx**2 Syy = dy**2 Sxy = dx*dy # 高斯滤波 Sxx = filters.gaussian_filter(Sxx, sigma) Syy = filters.gaussian_filter(Syy, sigma) Sxy = filters.gaussian_filter(Sxy, sigma) # 计算Harris响应函数的值det = Sxx*Syy - Sxy**2trace = Sxx + Syyresponse = det - 0.04*trace**2response[response < 0] = 0# 非最大值抑制 return get_harris_points(response, 10, 0.1)def get_harris_points(harrisim, min_distance=10, threshold=0.1):# 寻找响应值大于阈值的像素点 corner_threshold = harrisim.max() * thresholdharrisim_t = (harrisim > corner_threshold) * 1 # 找出响应值大于阈值的像素点的坐标 coords = np.array(harrisim_t.nonzero()).T # 根据响应值对坐标进行排序 candidate_values=[harrisim[c[0],c[1]]forcincoords]index=np.argsort(candidate_values) # 对较小的角点之间的距离进行抑制 allowed_locations=np.zeros(harrisim.shape) allowed_locations[min_distance:-min_distance,min_distance:-min_distance] = 1 # 根据最小距离对角点进行筛选 filtered_coords = []for i in index:if allowed_locations[coords[i,0],coords[i,1]] == 1: filtered_coords.append(coords[i])allowed_locations[(coords[i,0]-min_distance):(coords[i,0]+min_distance),(coords[i,1]-min_distance):(coords[i,1]+min_distance)] = 0 return filtered_coords（4）自然语言处理和文本处理

1) 读取文本数据

import numpy as np # 读取文本文件text = open('filename.txt').read() # 将文本转换成小写text = text.lower()

2) 分词

# 导入nltk库import nltknltk.download('punkt') # 使用nltk库进行分词from nltk.tokenize import word_tokenizewords = word_tokenize(text)

3) 去除停用词

# 导入nltk库import nltknltk.download('stopwords') # 获取停用词列表from nltk.corpus import stopwordsstop_words = set(stopwords.words('english')) # 去除停用词filtered_words = [word for word in words if word not in stop_words]

4) 计算词频

# 导入Counter库from collections import Counter # 计算词频word_counts = Counter(filtered_words)

5) 提取关键词

# 导入TextRank库!pip install pytextrank # 提取关键词import pytextrank # 创建TextRank对象tr = pytextrank.TextRank() # 解析文本tr.analyze(text) # 获取关键词keywords = list(tr.get_keywords(10))

6) 计算词向量

# 导入gensim库!pip install gensim # 训练词向量模型from gensim.models import Word2Vecmodel = Word2Vec([words], min_count=1) # 获取词向量vector = model.wv['word']

以上是numpy库在自然语言处理和文本处理方面的一些常用操作，可以根据具体的应用场景进行相应的调整和扩展。

4．numpy库的实战应用 （1）项目实战演练

1) 数字图像处理

# 导入numpy和matplotlib库import numpy as npimport matplotlib.pyplot as plt # 读取图像img = plt.imread('image.png') # 显示图像plt.imshow(img)plt.show() # 转换成灰度图像gray_img = np.mean(img, axis=2) # 显示灰度图像plt.imshow(gray_img, cmap='gray')plt.show() # 二值化处理binary_img = np.where(gray_img > 128, 255, 0) # 显示二值化图像plt.imshow(binary_img, cmap='gray')plt.show()

2) 机器学习

# 导入numpy和sklearn库import numpy as npfrom sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_splitfrom sklearn.neighbors import KNeighborsClassifier # 加载鸢尾花数据集iris = load_iris() # 划分数据集X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=0) # 训练KNN分类器knn = KNeighborsClassifier(n_neighbors=5)knn.fit(X_train, y_train) # 预测测试集结果y_pred = knn.predict(X_test) # 计算准确率accuracy = np.mean(y_pred == y_test)print('Accuracy:', accuracy)

3) 数据分析

# 导入numpy和pandas库import numpy as npimport pandas as pd # 读取csv数据data = pd.read_csv('data.csv') # 统计数据mean = np.mean(data)std = np.std(data)var = np.var(data)min_val = np.min(data)max_val = np.max(data)median = np.median(data) # 显示结果print('Mean:', mean)print('Standard Deviation:', std)print('Variance:', var)print('Minimum:', min_val)print('Maximum:', max_val)print('Median:', median)

以上是numpy库在实战中的一些应用，可以根据具体的项目需求进行相应的调整和扩展。

（2）numpy库与其他科学计算库的结合应用

1) matplotlib绘图

numpy与matplotlib库的结合应用是最常见的。numpy库中的数组可以直接作为matplotlib库中绘图函数的参数。例如，可以使用numpy库生成数据，然后使用matplotlib库将数据可视化。

import numpy as npimport matplotlib.pyplot as plt x = np.linspace(0, 2*np.pi, 100)y = np.sin(x) plt.plot(x, y)plt.show()

2) scipy优化

numpy库中的数组可以直接作为scipy库中优化函数的参数。例如，可以使用numpy库生成数据，然后使用scipy库中的优化函数来找到数据的最小值。

import numpy as npfrom scipy.optimize import minimize def f(x): return x**2 + 10*np.sin(x) x0 = np.array([0.0])res = minimize(f, x0)print(res.x)

3) pandas数据处理

numpy库中的数组可以直接作为pandas库中的数据类型，用于数据的处理和分析。例如，可以使用numpy库生成数据，然后将数据转换为pandas库中的DataFrame类型。

import numpy as npimport pandas as pd data = np.array([[1,2,3], [4,5,6], [7,8,9]])df = pd.DataFrame(data, columns=['a', 'b', 'c'])print(df)

4) sklearn机器学习

numpy库中的数组可以直接作为sklearn库中机器学习算法的输入数据。例如，可以使用numpy库生成数据，然后将数据用于sklearn库中的分类器训练。

import numpy as npfrom sklearn import svm X = np.array([[0, 0], [1, 1]])y = np.array([0, 1])clf = svm.SVC()clf.fit(X, y)（四）参考资源：

《Python科学计算》

《利用Python进行数据分析》

NumPy官方文档：https://numpy.org/doc/stable/

SciPy官方文档：https://docs.scipy.org/doc/scipy/reference/

《Python数据科学手册》

【本文地址】

跟着ChatGPT学习

跟着ChatGPT学习

今日新闻

推荐新闻