曾经在处理有关地铁人员数据的时候，遇到过两种格式的数据，当时确实把我给难住了。虽然最后解决了，但是方法不够优雅，一个是借助SQL来曲线救国，一个是使用纯Python逻辑。但是pandas作为一个非常优秀的第三方库，肯定提供了相应的解决方案，只不过当时在解决之后就没有之后了。然鹅最近这样的数据又碰到了，所以下定决心一定要使用pandas提供的方式解决，最后经过努力总算找到了解决的办法。

先来看看当时是哪两种数据让我感到困惑吧。

第一种数据：

我们需要变成以下这种格式：

第二种数据：

我们需要变成以下这种格式：

下面我们就来看看这两种格式的数据应该怎么处理。

首先pandas中的Series对象有一个方法叫做unstack，调用一个具有二级索引的Series对象的unstack方法，会得到一个DataFrame对象。其索引就是Series对象的一级索引，列就是Series对象的二级索引。

调用unstack默认是将一级索引变成DataFrame的索引，二级索引变成DataFrame的列。更准确的说，unstack是将最后一级的索引变成DataFrame的列，前面的索引变成DataFrame的索引。比如有一个具有八级索引的Series，它在调用unstack的时候，默认是将最后一级索引变成DataFrame的列，前面七个索引整体作为DataFrame的索引。

只不过索引一般很少有超过二级的，所以这里就用二级举例了。因此问题来了，那么可不可以将一级索引(这里的"姓名")变成DataFrame的列，二级索引(这里的"科目")变成DataFrame的行呢？答案是可以的，在unstack中指定一个参数即可。

其实如果你思维够灵活的话，那么即使不使用level=0这个参数也可以实现这一点，那就是设置索引的时候不指定["姓名", "科目"]，而是指定["科目", "姓名"]，这样"科目"就成为了一级索引，"姓名"就成了二级索引，一样可以完成任务。

除了stack之外, pandas还提供了一个模块级别的函数: pivot, 可以让我们更加方便地处理这种数据。

可以看到pivot算是unstack的一个很好的替代品，但是unstack的灵活性要更高一些，当然啦，两种解决方式都要掌握。

估计可能有人会懵，我们来一步一步拆解，不过我们需要介绍一下DataFrame的stack方法。

首先Series只有unstack，没有stack。而DataFrame既有unstack，又有stack。Series(具有二级索引)的unstack是将自身变成一个DataFrame，而DataFrame的unstack和stack则是将自身变成一个具有二级索引(前提是该DataFrame的索引和列都只有一级)的Series。

我们上面说了，在默认情况下，对于Series来讲，调用其unstack方法，会默认将一级索引变成DataFrame的索引，二级索引变成DataFrame的列(当然可以通过level来控制)。但是调用DataFrame的unstack则是将自身的索引变成对应Series的二级索引，将自身的列变成对应Series的一级索引；调用DataFrame的stack，则是将自身的索引变成对应Series的一级索引，将自身的列变成对应Series的二级索引。

文字读起来绕的话，可以看一张图，在默认情况下如图所示：

下面我们就来分析之前的那一大长串。

在pandas0.25版本的时候, DataFrame中新增了一个explode方法, 专门用来将一行变多行。

如果你用过hive的话，那么explode你肯定会很熟悉，是专门用来对一个数组进行"炸裂"的。只不过hive中的explode在对字段进行炸裂的时候不可以有其它的字段，如果在炸裂的同时还能和其它字段进行笛卡尔积，那么还需要加上一个"侧写"的语法。但是pandas中explode是可以直接对DataFrame进行使用的，我们来看一下：

所以explode这个功能真的是好用，而且这种数据也工作中也是非常常见的。

让我当时感到困惑的数据就是上面那两种，但是其实还有几种数据也是非常常见、并且不好处理的，而pandas同样提供了高效的解决办法。

数据如下：

我们需要变成下面这种形式：

在pandas中，我们知道apply算是一个比较慢的操作，如果可以使用向量化的操作的话，就不要使用apply。但是对于当前这个例子来说，则非常适合apply。

所以我们看到，只需要对info这一列使用apply(pd.Series)，即可将字典变成多个字段，列名就是字典的key，如果不存在，那么值就用NaN填充。

注意：使用apply(pd.Series)的时候，对应的列里面的值必须是一个字典，不能是字典格式的字符串。

很多时候我们的数据从对方的接口、或者对方的数据库中获取的，某个字段只是长得像字典，但其实并不是，只是一个类似于json的字符串罢了。这个时候就不可以直接使用apply了。

举个栗子：

不过在生产环境中还会有一个问题，我们知道Python中的eval是将一个字符串里面的内容当成值，或者你理解为就是把字符串周围的引号给剥掉。比如说：

可能有人好奇我为什么要说这些呢？是因为我在工作中经常要从对方的接口中获取数据，而由于编程语言的不同，导致空值和布尔值之间的表示方式不一样。

举个栗子：

此时我们就通过stack自己实现了pandas中的melt，对比内置的melt函数实现的结果，我们发现顺序有些差异，但显然结果是一样的。

但是在 2020年8月3号，笔者又发现了一个好玩的，首先还是说一下笔者要解决的问题吧。

我们有如上这种格式的数据，现在需要将其变成下面这种格式。

如果这种显示方式不直观的话，那么我们换一种，按照 姓名 排序一下：

怎么样，这样显示的话是不是就一眼看出我们接下来要做什么了呢？我们先来看看之前的 melt 能否实现，看看使用 melt 会得到什么结果？

显然这不是我们希望的结果的，那么我们应该怎么做呢？答案依旧是使用 melt，只不过我们需要做一些变换。当然如果只能靠先变换数据、再使用melt的话，我这里就不会多此一举了，没错，pandas 针对这种情况专门提供了一个函数，非常的清蒸。至于怎么用，我们待会说，先来看看如何使用 melt 来实现。

首先我们将 "技能1"、"技能2"、"技能3" 组合起来变成一个元组，赋值为 "技能"，将 "活动地点1"、"活动地点2"、"活动地点3" 组合起来变成一个元组，赋值为 "活动地点"。然后使用 filter 方法将那些不需要的字段过滤掉，这个方法非常好用，里面支持正则筛选，(? 表示筛选结尾不是数字的列。

将 "技能" 和 "活动地点" 组合起来得到 "技能-活动地点"。

通过 explode 将这个字段中的元素炸开，怎么样，此时离胜利是不是越近了呢？

大功告成，除了可以对一个字典使用 apply(pd.Series) 之外，还可以对元组、列表使用，只不过它们会得到一个默认的字段名：0、1，这里我们直接赋值给 "技能"、"活动地点" 即可。当然你也可以使用其它方式，方法有很多，因为我们说过 apply 这种方式效率是不高的（对于此类场景也能接受），不过它确实最方便。至于里面的 "技能-活动地点" 这一列本身我们是不需要的，再给它删掉即可。

以上就是我们使用 melt 的方式实现，其实还是没有什么难度的，当时我也是按照这种办法做的，处理的时候还是很香的。那么下面重点来了，pandas 似乎知道我们会面临这种需求，所以提前帮我们想好了，我们可以使用叫 pd.lreshape 的函数来轻松的解决这一点。

我屮艸芔茻，简直绝了有木有，如果你再按照 "姓名"排个序的话，跟我们自己使用 melt 得到的结果不是一样的嘛，而且其它字段会自动进行笛卡尔积。说实话pandas发展到现在，基本上我们能遇到的问题别人也会遇到。而如果有什么好的想法的话，可以反馈给pandas社区，如果觉得想法很好的话，那么再下一个版本的时候没准也会加进去。所以发现在到现在的 pandas 基本上能解决你的任何需求，至于 lreshape 这个方法什么时候加进去的个人没有考证，但是上面没有版本信息，估计应该很早就有了，但是惭愧我居然今天才知道。

另外，进行组合的字段不能含有空值，否则这一整行就没了，举个栗子：

如果想避免这一点，只需要加上一个 dropna=False 即可。

此时这条记录就不会被删除了。

以上就是一些经常会遇见，但是不熟悉的话处理起来又会感到麻烦的几种数据以及需求，再来总结一下：

因此针对行转列和列转行，早期我个人经常使用unstack和stack。但是之后就没怎么用了，因为pivot和melt算是unstack和stack的一个很好的替代品，可以帮助我们更快地实现。另外，除了行转列和列转行之外，关于展开列表实现一行生成多行、将字典变成多个字段，pandas也依旧提供了很棒的支持。

如果觉得文章对您有所帮助，可以请囊中羞涩的作者喝杯柠檬水，万分感谢，愿每一个来到这里的人都生活愉快，幸福美满。

微信赞赏

支付宝赞赏