|
| 读取 excel/csv | # 读取 excel csv
data =
pd.readcsv(‘/Users/ning/dataset/ops_brain.csv’, low_memory=False) |
| —- | —- |
| 某列设为日期格式 | # 设置一列为日期格式
data.report_date
= pd.to_datetime(data.report_date) |
| 筛选字段 | # 筛选列
a =
data[[‘report_date’, ‘citycode’]] |
| | # 单条件筛选
b =
data[data.report_date==’2019-04-01’] |
| | # 多条件筛选
b =
data[(data.report_date==’2019-04-01’) & (data.citycode == ‘MBK_86’)] |
| | # 新增字段 及 单一内容填充
a = data[[‘report_date’, ‘citycode’]]
a[“sex”] = “male”# 新增字段 及 逐行内容填充
a[“sex”] = [“male”, “male”, “female”, “male”] |
| | # 计算/逻辑判断等方式添加字段
import numpy as np
a[“a1”] = a.rides + 1
a[“a2”] = a.rides * 100
a[“a3”] = np.where(a[“sex”] == “male”, 1, 0)
a |
| | # 删除字段：pop 方法
a.pop(“sex”)
a |
| 查看信息 | data.info() #查看基本信息
data.head(10) # 查看前10行
data.shape
# 查看几行几列
data.T
# 转置
data.values
# 返回一个 array |
| 描述与统计 | data.age.max() #
最大值
min # 最小值
mean # 平均值
quantile # 中位数
sum #求和data.describe() #
会显示出数字类型的列的统计指标：总数、平均数、标准差、最小值、最大值、25%/50%/75% 分位数
data.describe(include=[“object”] )
#
会显示出非数字类型的列的统计指标：总数，去重后的个数、最常见的值、最常见的值的频数 a.rides.value_counts() # 各个值出现次数 |
| 排序 | data.sort_values(by=”字段”) # 正序
data.sort_values(ascending=False, by=’字段’) # 倒序
data.sort_values(by=[“age”, “city”]) # 多字段排序a.rides.nlargest(5) #
最大的n个值
a.rides.nsmallest(5) # 最小的n个值 |
| 转换数据类型 | https://www.yuque.com/7125messi/wydusr/okebzqdata =
pd.DataFrame(data)data.columns = [‘A’,’B’] # 转换为 dataframe并起名data.rename(columns={‘a’:’A’}) # 只给某个字段重命名 |
| 缺失值 | 过滤缺失值
a[a.rides.notnull()] # 过滤某字段为 null 的值
data.dropna(axis=0, how=”any”) #
一行数据只要有一个字段存在空值即删除
data.dropna(axis=0, how=”all”) #
一行数据所有字段都为空值才删除
data.dropna(axis=0, how=”any”, subset=[“city”, “sex”]) #
一行数据中只要 city 或 sex 存在空值即删除填充缺失值
data.age.fillna(0) # age 缺失都填 0
data.age.fillna(method=”ffill”) #
age 缺失用前一列填充
data.age.fillna(method=”backfill”) #
age 缺失用后一列填充
data.age.interpolate() # 使用线性差值来填充 |
| 替换 | data.age.replace(40, np.nan) #
把 40 替换成空值
user_info.city.replace(r’\s+’, np.nan, regex=True) # 正则表达式，空白字符串替换成空值 |
| 文本数据处理 | # 将出生日期转为时间戳
user_info[“birth”] = pd.to_datetime(user_info.birth)
# 将文本转为小写
user_info.city.str.lower()
# 统计每个字符串的长度
user_info.city.str.len()
# 将空字符串替换成下划线
user_info.city.str.replace(“
“, ““)
#
将所有开头为 S 的城市替换为空字符串
userinfo.city.str.replace(“^S.*”, “ “)
# 根据空字符串来分割某一列
user_info.city.str.split(“ “, expand=True)
# 提取子串_
https://www.yuque.com/7125messi/wydusr/gcfef9 |
| | |
| | |
| | |
| | |
| | |
| | |
| | |
|