营销网站的概念/百度智能云建站
快速入门 Pandas 建议先看看集智主站的《10分钟Pandas之旅》系列:
[Pandas] 10分钟Pandas之旅 01 - 集智专栏jizhi.im[Pandas] 10分钟Pandas之旅 02 - 集智专栏jizhi.im
以及用 Pandas 进行表格整合的教程:
[Pandas] 表格整合三大神技之CONCATENATE - 集智专栏jizhi.im
我们都知道 Pandas 是专门用于 Python 数据分析的工具,不仅能非常快地读取与处理数据,而且还能轻松处理浮点数据中的缺失数据(表示为 NaN)以及非浮点数据。数据科学家 George Seif 近日分享了使用 Pandas 进行数据分析时的 23 段重要代码,掌握了它们对你熟悉 Pandas 一定大有帮助,集智现将它们分享过来。
这 23 种操作分为 3 个部分:获取基本的数据集信息、基本的数据处理和 DataFrame 操作。
获取的基本的数据集信息
读取CSV格式的数据集
pd.DataFrame.from_csv(“csv_file”)
或
pd.read_csv(“csv_file”)
读取Excel数据集
pd.read_excel("excel_file")
将DataFrame直接写入CSV文件
采用逗号为分隔符,无索引。
df.to_csv("data.csv", sep=",", index=False)
基本的数据集特征信息
df.info()
基本的数据集统计信息
print(df.describe())
在表格中打印出DataFrame
print(tabulate(print_table, headers=headers))
其中“print_table”是一个列表,其中列表元素还是新的列表,“headers”为表头字符串组成的列表。
列出所有列的名字
df.columns
基本的数据处理
删掉缺失数据
df.dropna(axis=0, how='any')
替换缺失数据
df.replace(to_replace=None, value=None)
用“value”替换其中的“to_replace”。
检查空值(NaN)
pd.isnull(object)
检查缺失值(数值数组中的 NaN ,对象数组中的 None/NaN)。
删除特征
df.drop('feature_variable_name', axis=1)
axis 选择 0 表示行,选择1表示列。
将对象类型转为浮点型
pd.to_numeric(df["feature_name"], errors='coerce')
将对象类型转为数值,我们就能进一步执行计算(以防它们为字符串)。
将 DataFrame 转换为 NumPy 数组
df.as_matrix()
获取DataFrame的前“n”行
df.head(n)
通过特征名获取数据
df.loc[feature_name]
DataFrame操作
对 DataFrame 使用函数
该函数会将 DataFrame 中“height”列的所有值乘以2:
df["height"].apply(lambda height: 2 * height)
或
def multiply(x):
return x * 2
df["height"].apply(multiply)
重命名列
下面代码会将DataFrame 的第三列重命名为“size”:
df.rename(columns = {df.columns[2]:'size'}, inplace=True)
取某一列的唯一entry
下面代码将取“name”列的唯一entry:
df["name"].unique()
获取子DataFrame
下面从 DataFrame 中选择性地获取“name”和“size”两列:
new_df = df[["name", "size"]]
总结数据信息
# dataframe中值的和
df.sum()
# dataframe中的最低值
df.min()
# 最高值
df.max()
# 最低值的索引
df.idxmin()
# 最高值的索引
df.idxmax()
# dataframe的统计信息总结,比如中位数等
df.describe()
# 平均值
df.mean()
# 中位值
df.median()
# 列之间的关系
df.corr()
# 只获取一列的值
df["size"].median()
给数据排序
df.sort_values(ascending = False)
布尔型索引
以下代码将过滤名为“size”的列,并仅显示值等于 5 的列:
df[df["size"] == 5]
选择特定值
以下代码将选定“size”列的第一行的值:
df.loc([0], ['size'])