2020/01/29 21:15

Tom Waterman作者李诗萌、魔王参与

读完本文，轻松玩转数据处理利器Pandas 1.0

2020 年 1 月 9 日 Pandas 1.0.0rc 版本面世，Facebook 数据科学家 Tom Waterman 撰文概述了其新功能。本文助你轻松玩转 Pandas 1.0。

常用数据科学库 Pandas 刚刚年满十二岁，现在已经发布到 1.0.0 版。首个 Pandas 1.0 候选版本显示出，现在的 Pandas 在遇到缺失值时会接收一个新的标量，遵循语义化版本控制（Semantic Versioning）形成了新的弃用策略，网站也经过了重新设计……

注意：Pandas 1.0.0rc 版本于 2020 年 1 月 9 日发布，之前的版本是 0.25。

最新发布的 Pandas 版本包含许多优秀功能，如更好地自动汇总数据帧、更多输出格式、新的数据类型，甚至还有新的文档站点。

完整的版本说明参见：https://dev.pandas.io/docs/whatsnew/v1.0.0.html

本文将用较通俗的方式介绍 Pandas 新版本，希望对大家有所帮助。

要使用新版 Pandas，用户可以用 pip 轻松升级。截至本文撰写时，Pandas 1.0 仍是候选版本，这意味着安装时需要明确指定版本号。

pip install --upgrade pandas==1.0.0rc0

当然，升级可能会破坏部分代码，因为这次发布的是主要版本，所以请务必小心。

这一版 Pandas 也不再支持 Python 2。要使用 1.0+版本的 Pandas，至少需要 Python 3.6+版本，所以请确认 pip 和 python 的版本是正确的。

$ pip --version
pip 19.3.1 from /usr/local/lib/python3.7/site-packages/pip (python 3.7)$ python --version
Python 3.7.5

你可以根据下列代码确认一切正常，以及 Pandas 的版本正确。

>>> import pandas as pd
>>> pd.__version__
1.0.0rc0

使用 DataFrame.info 更好地自动汇总数据帧

我最喜欢的新功能是改进后的 DataFrame.info (http://dataframe.info/) 方法。它使用一种可读性更强的格式，让数据探索过程变得更加容易。

>>> df = pd.DataFrame({
...:   'A': [1,2,3], 
...:   'B': ["goodbye", "cruel", "world"], 
...:   'C': [False, True, False]
...:})
>>> df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3 entries, 0 to 2
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype
---  ------  --------------  -----
 0   A       3 non-null      int64
 1   B       3 non-null      object
 2   C       3 non-null      object
dtypes: int64(1), object(2)
memory usage: 200.0+ bytes

支持 Markdown 表格作为输出格式

我第二喜欢的功能是用 DataFrame.to_markdown 方法，把数据帧导出到 Markdown 表格中。

>>> df.to_markdown()
|    |   A | B       | C     |
|---:|----:|:--------|:------|
|  0 |   1 | goodbye | False |
|  1 |   2 | cruel   | True  |
|  2 |   3 | world   | False |

这样可以通过 GitHub Gist，在 Medium 等处更容易地展示数据。

新数据类型：布尔值和字符串

Pandas 1.0 还实验性地引入了新的数据类型：布尔值和字符串。

由于这些改变是实验性的，因此数据类型的 API 可能会有轻微的变动，所以用户在使用时务必谨慎操作。不过，Pandas 推荐用户合理使用这些数据类型，在未来的版本中也将改善特定类型运算的性能，比如正则表达式匹配（Regex Match）。

默认情况下，Pandas 不会自动将你的数据强制转换为这些类型。但你可以修改参数来使用新的数据类型。

>>> B = pd.Series(["goodbye", "cruel", "world"], dtype="string")
>>> C = pd.Series([False, True, False], dtype="bool")
>>> df.B = B, df.C = C
>>> df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3 entries, 0 to 2
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype
---  ------  --------------  -----
 0   A       3 non-null      int64
 1   B       3 non-null      string
 2   C       3 non-null      bool
dtypes: int64(1), object(1), string(1)
memory usage: 200.0+ bytes

注意现在的 Dtype 列是如何反映新数据类型 string 和 bool 的。

字符串数据类型最大的用处是，你可以从数据帧中只选择字符串列，这样就可以更快地分析数据集中的文本。

df.select_dtypes("string")

在此之前，你只能通过指定名称来选择字符串类型列。

更多有关新数据类型的说明，参见：https://dev.pandas.io/docs/user_guide/text.html?highlight=string。

弃用

新版本弃用了许多功能。不过最值得注意的是，从 DataFrameGroupBy 对象中选择列时，输入 key 列表或 key 元组的方法已被弃用。现在要用 item 列表，而非键列表。

另一个最常用的变动出现在 DataFrame.hist() 和 Series.his() 中。现在 figsize 没有默认值，要想指定绘图的大小，需要输入元组。

Bug 修复

新版本还修复了大量 bug，提高了数据分析的可信度。

此前，在遇到分类数据以外的值时，fillna() 会引发 ValueError。因此，它现在纳入 assert 来测试不一致，并处理异常。

另外，在将分类数据转换为整数时，也会产生错误的输出。特别是对于 NaN 值，其输出往往是错误的。因此，新版 Pandas 修复了这个 bug。

原文链接：https://towardsdatascience.com/top-features-of-pandas-1-0-26abff08d1b6

入门pandas数据科学Facebook

相关数据

数据分析技术

数据分析是一类统计方法，其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系，并绘制出统计信息图，以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据，以便弄清哪些是同质的，从而更好地了解数据。数据分析可以处理大量数据，并确定这些数据最有用的部分。

来源：维基百科

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

分类数据技术

一种特征，拥有一组离散的可能值。以某个名为 house style 的分类特征为例，该特征拥有一组离散的可能值（共三个），即 Tudor, ranch, colonial。通过将 house style 表示成分类数据，相应模型可以学习 Tudor、ranch 和 colonial 分别对房价的影响。有时，离散集中的值是互斥的，只能将其中一个值应用于指定样本。例如，car maker 分类特征可能只允许一个样本有一个值 (Toyota)。在其他情况下，则可以应用多个值。一辆车可能会被喷涂多种不同的颜色，因此，car color 分类特征可能会允许单个样本具有多个值（例如 red 和 white）。

来源：Google ML glossary

数据科学技术

数据科学，又称资料科学，是一门利用数据学习知识的学科，其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术，包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

来源：维基百科