1.案例数据来自python数据分析手册,github地址:https://github.com/jakevdp/PythonDataScienceHandbook/tree/master/notebooks/data

        不克隆项目,怎么在github下载单个文件?:https://www.cnblogs.com/zhaoqingqing/p/5534827.html

2.pandas读取文件,参考:https://blog.csdn.net/sinat_29957455/article/details/79054126

1.导入三剑客的包:

  数据分析入门——美国各州人口分析-风君雪科技博客

2.读取数据:

   read_csv可以读取1G的数据(excel无法打开)

   读入各州缩写:

   数据分析入门——美国各州人口分析-风君雪科技博客

  读入各州面积:

  数据分析入门——美国各州人口分析-风君雪科技博客

  读入各州人口:

  数据分析入门——美国各州人口分析-风君雪科技博客

3.合并pop和abbr两个df

  使用简称,合并全称,可知,需要使用merge:

  并且,左右两列没有相同columns,需要使用left_on/right_on来进行限定;

  数据分析入门——美国各州人口分析-风君雪科技博客

  由于默认使用的是内连接,所以通过shape发现会有部分未连接上的数据,通过how,可以控制内外连接方式:

  数据分析入门——美国各州人口分析-风君雪科技博客

  //使用right右连接,也会出现2448,原因是虽然右表只有51条,但是左表有多条对应,会出现一对多

   发现用于连接的列,有重复的列,我们可以使用drop进行删除一列:通过axis控制,我们就删除了一列:

  数据分析入门——美国各州人口分析-风君雪科技博客

  但是特别注意,drop返回的是删除后的新DF,原先的DF未改变(这点可以通过看控制台是否输出了内容,有输出时则是返回了新的数据,没有则是在原基础上修改)

要想在原基础上修改,需要控制inplace参数:

  数据分析入门——美国各州人口分析-风君雪科技博客

  数据分析入门——美国各州人口分析-风君雪科技博客

  通过isnull()返回和原先形状相等的df,再通过any看哪一列有空值:

  数据分析入门——美国各州人口分析-风君雪科技博客

   进一步,通过空值操作,可以查看具体哪些州有数据缺失:(通过unique来查看唯一值)

  数据分析入门——美国各州人口分析-风君雪科技博客

  下一步,使用正确的值,填充这些缺失值:(通过boolean值来进行筛选,注意boolean这个Series的产生)

  数据分析入门——美国各州人口分析-风君雪科技博客

  USA的处理,同理:

  数据分析入门——美国各州人口分析-风君雪科技博客

  验证结果:(可以发现state已经没有空值)

  数据分析入门——美国各州人口分析-风君雪科技博客

4.合并pop和areas两个df

  同样,使用merge:(注意这里使用left合并)

  数据分析入门——美国各州人口分析-风君雪科技博客

  继续使用isnull()来检测空值:

  数据分析入门——美国各州人口分析-风君雪科技博客

  发现area有空值,我们继续使用上面类似的方法,空值检测并填充:

    具体这里是先检测area列的bool值,再通过pop3取到哪些state是空:

  数据分析入门——美国各州人口分析-风君雪科技博客

    可以通过dropna来删除含有空数据的行:(dropna的文档注意查看)

  数据分析入门——美国各州人口分析-风君雪科技博客

    检查空值处理结果:

    数据分析入门——美国各州人口分析-风君雪科技博客

5.使用query查找数据

  使用query来进行数据检索:https://blog.csdn.net/tcy23456/article/details/85887334

  数据分析入门——美国各州人口分析-风君雪科技博客

  对查询结果进行索引重排,使用set_index,使得state成为新的Index:(注意通过inplace控制替换原值)

  数据分析入门——美国各州人口分析-风君雪科技博客

  通过计算,返回人口密度的series:

  数据分析入门——美国各州人口分析-风君雪科技博客

  通过sort_values进行数据排序:

    进一步的,可以通过切片或者tail()函数取最小的几个,取top几

  数据分析入门——美国各州人口分析-风君雪科技博客

  使用merge,可以将计算出的密码,融合进去人口结果集:

    此处需要将Series转换为df再计算:

  数据分析入门——美国各州人口分析-风君雪科技博客