Python - wprowadzenie

06 - Biblioteka `pandas` cz. 2: `DataFrame`

Obiekt typu DataFrame, co się tłumaczy jako ramka danych, jak wspomniałem wcześniej, można w uproszczeniu porównać do tabel znanych np. z arkuszy kalkulacyjnych. Przechowują dane w kolumnach i rzędach, ale choć kolumny zawierają dane jednego typu, każda kolumna może zawierać dane innego typu. Kolumny, które odpowiadają obiektom typu Series mają ,,nagłówki'' (a także indeksy), do których możemy się odwoływać np. przy selekcji danych. Rzędy mają również indeksy, a także mogą posiadać etykiety, których używamy tak jak w przypadku Series.

Tworzenie ramek danych

Ramki danych można utworzyć w różny sposób. Często tworzymy je przy odczycie danych z plików, np. w formacie csv co opiszę w dalszej części, ale można je też tworzyć ,,od zera''. Zacznijmy od utworzenia pustej ramki danych:

import pandas as pd
ramka = pd.DataFrame()
print(ramka)
Empty DataFrame
Columns: []
Index: []

Teraz stwórzmy ramkę danych, używając słownika list. Na razie będzie ona zawierała kilka gatunków organizmów i liczby (2n) chromosomów:

import pandas as pd
slownik_list = {'Gatunek': ['Myrmecia pilosula',
               'Ophioglossum reticulatum',
               'Canis familiaris',
               'Homo sapiens',
               'Arabidopsis thaliana'
              ],
              'L_chr': [2, 1400, 36, 46, 10]
             }
dane = pd.DataFrame(slownik_list)
print(dane)
                    Gatunek  L_chr
0         Myrmecia pilosula      2
1  Ophioglossum reticulatum   1400
2          Canis familiaris     36
3              Homo sapiens     46
4      Arabidopsis thaliana     10

Jak widać, klucze w słowniku zostały przekształcone w nazwy kolumn. Uwaga: jeśli używasz Jupyter-lab, a wydrukowanie ramki jest ostatnim poleceniem w uruchamianej komórce, to zamiast print(ramka) możesz pisać po prostu ramka - wyświetli się w estetyczniejszej formie. Kolejne rzędy posiadają indeksy, ale można im przypisać etykiety rzędów, podobnie jak elementom obiektu Series:

dane.index = ['mrówka', 'nasięźrzał', 'pies', 'człowiek', 'rzodkiewnik']
print(dane)
                              Gatunek  L_chr
mrówka              Myrmecia pilosula      2
nasięźrzał   Ophioglossum reticulatum   1400
pies                 Canis familiaris     36
człowiek                 Homo sapiens     46
rzodkiewnik      Arabidopsis thaliana     10

Oczywiście etykiety można przypisać od razu, przy tworzeniu ramki:

dane = pd.DataFrame(slownik_list, index = ['mrówka', 'nasięźrzał', 'pies', 'człowiek', 'rzodkiewnik'])
print(dane)
                              Gatunek  L_chr
mrówka              Myrmecia pilosula      2
nasięźrzał   Ophioglossum reticulatum   1400
pies                 Canis familiaris     36
człowiek                 Homo sapiens     46
rzodkiewnik      Arabidopsis thaliana     10

Przy tworzeniu ramki, można zmienić kolejność kolumn, a także dodać nowe. Jeśli nie będą im przypisane dane, zostaną wypełnione wartościami NaN:

dane = pd.DataFrame(slownik_list, 
                    index = ['mrówka', 'nasięźrzał', 'pies', 'człowiek', 'rzodkiewnik'],
                    columns = ['L_chr', 'Gatunek', 'Wielkosc_genomu'])
print(dane)
             L_chr                   Gatunek Wielkosc_genomu
mrówka           2         Myrmecia pilosula             NaN
nasięźrzał    1400  Ophioglossum reticulatum             NaN
pies            36          Canis familiaris             NaN
człowiek        46              Homo sapiens             NaN
rzodkiewnik     10      Arabidopsis thaliana             NaN

Jeśli nie uwzględnimy nazwy, któregoś z elementu słownika, seria danych nie zostanie uwzględniona:

dane = pd.DataFrame(slownik_list, 
                    index = ['mrówka', 'nasięźrzał', 'pies', 'człowiek', 'rzodkiewnik'],
                    columns = ['Gatunek', 'Wielkosc_genomu'])
print(dane)
                              Gatunek Wielkosc_genomu
mrówka              Myrmecia pilosula             NaN
nasięźrzał   Ophioglossum reticulatum             NaN
pies                 Canis familiaris             NaN
człowiek                 Homo sapiens             NaN
rzodkiewnik      Arabidopsis thaliana             NaN

Ramki z danymi można utworzyć także na różne inne sposoby, np:

# Ramka danych z listy słowników:
lista_slownikow = [{'Gatunek': 'Myrmecia pilosula', 'L_chr': 2},
                   {'Gatunek': 'Ophioglossum reticulatum', 'L_chr': 1400}, 
                   {'Gatunek': 'Canis familiaris', 'L_chr': 36},
                   {'Gatunek': 'Homo sapiens', 'L_chr': 46},
                   {'Gatunek': 'Arabidopsis thaliana', 'L_chr': 10}]
dane = pd.DataFrame(lista_slownikow,
                    columns = ['Gatunek', 'L_chr'],
                    index = ['mrówka', 'nasięźrzał', 'pies', 'człowiek', 'rzodkiewnik'],)
print(dane)
                              Gatunek  L_chr
mrówka              Myrmecia pilosula      2
nasięźrzał   Ophioglossum reticulatum   1400
pies                 Canis familiaris     36
człowiek                 Homo sapiens     46
rzodkiewnik      Arabidopsis thaliana     10
# Ramka danych z listy krotek:
lista_krotek = [('Myrmecia pilosula', 2), 
                ('Ophioglossum reticulatum', 1400), 
                ('Canis familiaris', 36), 
                ('Homo sapiens', 46), 
                ('Arabidopsis thaliana', 10)]
dane = pd.DataFrame(lista_krotek,
                    columns = ['Gatunek', 'L_chr'],
                    index = ['mrówka', 'nasięźrzał', 'pies', 'człowiek', 'rzodkiewnik'])
print(dane)
                              Gatunek  L_chr
mrówka              Myrmecia pilosula      2
nasięźrzał   Ophioglossum reticulatum   1400
pies                 Canis familiaris     36
człowiek                 Homo sapiens     46
rzodkiewnik      Arabidopsis thaliana     10
# Ramka z obiektów Series
gatunki = pd.Series(['Myrmecia pilosula', 
                     'Ophioglossum reticulatum', 
                     'Canis familiaris', 
                     'Homo sapiens', 
                     'Arabidopsis thaliana'])
chromosomy = pd.Series([2, 1400, 36, 46, 10])
dane = pd.DataFrame({'Gatunek': gatunki, 'L_chr': chromosomy})
dane.index = ['mrówka', 'nasięźrzał', 'pies', 'człowiek', 'rzodkiewnik']
print(dane)
                              Gatunek  L_chr
mrówka              Myrmecia pilosula      2
nasięźrzał   Ophioglossum reticulatum   1400
pies                 Canis familiaris     36
człowiek                 Homo sapiens     46
rzodkiewnik      Arabidopsis thaliana     10

Proste pobieranie kolumn i rzędów

Obiekty DataFrame cieszą się dużą popularnością między innymi dlatego, ze biblioteka pandas umożliwia dużą swobodę i efektywność w selekcji danych. Na razie zobaczmy jak działa proste wybieranie kolumn i rzędów, później przejdziemy do bardziej złożonych zadań. Najpierw stwórzmy (ponownie) ramkę danych, na których będziemy dalej pracować:

import pandas as pd
slownik_list = {'Gatunek': ['Myrmecia pilosula',
               'Ophioglossum reticulatum',
               'Canis familiaris',
               'Homo sapiens',
               'Arabidopsis thaliana'
              ],
              'L_chr': [2, 1400, 36, 46, 10]
             }
dane = pd.DataFrame(slownik_list, 
                    index = ['mrówka', 'nasięźrzał', 
                             'pies', 'człowiek', 'rzodkiewnik'])
print(dane)

                              Gatunek  L_chr
mrówka              Myrmecia pilosula      2
nasięźrzał   Ophioglossum reticulatum   1400
pies                 Canis familiaris     36
człowiek                 Homo sapiens     46
rzodkiewnik      Arabidopsis thaliana     10

Poszczególne kolumny możemy pobierać używając nazw kolumn, na dwa sposoby:

print(dane['Gatunek'])
print()
print(dane.L_chr)
mrówka                Myrmecia pilosula
nasięźrzał     Ophioglossum reticulatum
pies                   Canis familiaris
człowiek                   Homo sapiens
rzodkiewnik        Arabidopsis thaliana
Name: Gatunek, dtype: object

mrówka            2
nasięźrzał     1400
pies             36
człowiek         46
rzodkiewnik      10
Name: L_chr, dtype: int64

Ten drugi sposób (ramka.nazwa_kolumny) sprawdzi się jednak tylko wtedy, jeśli nazwa kolumny będzie zgodna z zasadami nazw zmiennych w języku Python. Zatem nie powinna zawierać np. spacji.

Przyjrzyj się, w jaki sposób wyświetlana jest zawartość kolumny, coś nam to przypomina. Sprawdźmy typ otrzymanego obiektu:

print(type(dane['Gatunek']))
print(type(dane['L_chr']))
<class 'pandas.core.series.Series'>
<class 'pandas.core.series.Series'>

Jak widać, otrzymujemy obiekt typu Series, co wskazuje na sposób pracy z nim. Zwróć uwagę, że niezależnie od wybranej kolumny, dane w seriach które otrzymujemy, są oznaczone etykietami z ramki danych.

Rząd możemy pobrać używając atrybutu loc i etykiety lub iloc z wartością indeksu:

print(dane.loc['pies'])
print()
print(dane.iloc[3])
Gatunek    Canis familiaris
L_chr                    36
Name: pies, dtype: object

Gatunek    Homo sapiens
L_chr                46
Name: człowiek, dtype: object

Dodawanie, modyfikacja i usuwanie kolumn

Do ramki danych łatwo możemy dodać kolejne kolumny. Można to zrobić na różne sposoby. Najpierw odtwóżmy ramkę, jeśli to konieczne:

list(dane['Autotrof'])
[False, True, True, False, True]
import pandas as pd
slownik_list = {'Gatunek': ['Myrmecia pilosula',
               'Ophioglossum reticulatum',
               'Canis familiaris',
               'Homo sapiens',
               'Arabidopsis thaliana'
              ],
              'L_chr': [2, 1400, 36, 46, 10]
             }
dane = pd.DataFrame(slownik_list, 
                    index = ['mrówka', 'nasięźrzał', 'pies', 
                             'człowiek', 'rzodkiewnik'])
print(dane)
                              Gatunek  L_chr
mrówka              Myrmecia pilosula      2
nasięźrzał   Ophioglossum reticulatum   1400
pies                 Canis familiaris     36
człowiek                 Homo sapiens     46
rzodkiewnik      Arabidopsis thaliana     10
# Sposób 1
nowe_dane_1 = ['Nie', 'Tak', 'Tak', 'Nie', 'Tak']
dane['Autotrof'] = nowe_dane_1
print()
print(dane)
                              Gatunek  L_chr Autotrof
mrówka              Myrmecia pilosula      2      Nie
nasięźrzał   Ophioglossum reticulatum   1400      Tak
pies                 Canis familiaris     36      Tak
człowiek                 Homo sapiens     46      Nie
rzodkiewnik      Arabidopsis thaliana     10      Tak
# Sposób 2
nowe_dane_2 = ['zwierzęta', 'rośliny', 'zwierzęta', 'zwierzęta', 'rośliny']
dane.insert(1, 'Krolestwo', nowe_dane_2, True)
print()
print(dane)
                              Gatunek  Krolestwo  L_chr Autotrof
mrówka              Myrmecia pilosula  zwierzęta      2      Nie
nasięźrzał   Ophioglossum reticulatum    rośliny   1400      Tak
pies                 Canis familiaris  zwierzęta     36      Tak
człowiek                 Homo sapiens  zwierzęta     46      Nie
rzodkiewnik      Arabidopsis thaliana    rośliny     10      Tak

Pierwszy sposób pozwala na dołączenie nowej kolumny na końcu ramki. Drugi jest nieco bardziej złożony. Metoda insert() przyjęła cztery argumenty: insert(indeks, nazwa kolumny, dane, możliwość_duplikatów) Indeks wskazuje, przed którą kolumną wstawić nowe dane. Ostatni argument (domyślnie jest to False) określa, czy wprowadzane wartości mogą się duplikować (sprawdź, co się stanie, jeśli zmienisz argument na False lub go opuścisz).

Możemy łatwo zmodyfikować zawartość całej kolumny, odwołując się do jej nazwy i podając nowe wartości:

nowe_dane_2 = [False, True, True, False, True]
dane['Autotrof'] = nowe_dane_2
print(dane)
                              Gatunek  Krolestwo  L_chr  Autotrof
mrówka              Myrmecia pilosula  zwierzęta      2     False
nasięźrzał   Ophioglossum reticulatum    rośliny   1400      True
pies                 Canis familiaris  zwierzęta     36      True
człowiek                 Homo sapiens  zwierzęta     46     False
rzodkiewnik      Arabidopsis thaliana    rośliny     10      True

Dodanie nowej kolumny można połączyć z wypełnianiem jej wartości z użyciem danych z innej kolumny, np. dodajmy kolumnę n zawierającą liczbę n (haploidalną) chromosomów. Możemy te wartości wyliczyć, dzieląc liczby pobrane z kolumny L-chromosomow, która zawiera liczby 2n chromosomów:

dane['n'] = dane['L_chr']/2
print(dane)
                              Gatunek  Krolestwo  L_chr  Autotrof      n
mrówka              Myrmecia pilosula  zwierzęta      2     False    1.0
nasięźrzał   Ophioglossum reticulatum    rośliny   1400      True  700.0
pies                 Canis familiaris  zwierzęta     36      True   18.0
człowiek                 Homo sapiens  zwierzęta     46     False   23.0
rzodkiewnik      Arabidopsis thaliana    rośliny     10      True    5.0

Jak widać, otrzymaliśmy nową kolumnę z danymi, jednak ma ona typ liczb zmiennoprzecinkowych co nie ma tu sensu. Przeprowadźmy zatem ponownie operację, tym razem ustawiając typ ‘int64`:

dane['n'] = (dane['L_chr']/2).astype('int64')
print(dane)
                              Gatunek  Krolestwo  L_chr  Autotrof    n
mrówka              Myrmecia pilosula  zwierzęta      2     False    1
nasięźrzał   Ophioglossum reticulatum    rośliny   1400      True  700
pies                 Canis familiaris  zwierzęta     36      True   18
człowiek                 Homo sapiens  zwierzęta     46     False   23
rzodkiewnik      Arabidopsis thaliana    rośliny     10      True    5

Niepotrzebną kolumnę można usunąć, używając metody drop(). Zwracana jest nowa ramka, zatem jeśli chcemy zachować starą nazwę, przypisujemy ramkę do niej. Parametr axis pozwala wybrać między kolumnami i rzędami. Wartość 1 oznacza kolumny, możemy też użyć wyrażenia axis = 'columns':

dane = dane.drop('n', axis = 1)
print(dane)
                              Gatunek  Krolestwo  L_chr  Autotrof
mrówka              Myrmecia pilosula  zwierzęta      2     False
nasięźrzał   Ophioglossum reticulatum    rośliny   1400      True
pies                 Canis familiaris  zwierzęta     36      True
człowiek                 Homo sapiens  zwierzęta     46     False
rzodkiewnik      Arabidopsis thaliana    rośliny     10      True

Dodawanie, modyfikacja i usuwanie rzędów

Zacznijmy od odtworzenia ramki danych:

import pandas as pd
slownik_list = {'Gatunek': ['Myrmecia pilosula',
                'Ophioglossum reticulatum',
                'Canis familiaris',
                'Homo sapiens',
                'Arabidopsis thaliana'
              ],
                'Krolestwo': ['zwierzęta', 'rośliny', 'zwierzęta', 
                              'zwierzęta', 'rośliny'],
                'L_chr': [2, 1400, 36, 46, 10],
                'Autotrof': [False, True, True, False, True]
             }
dane = pd.DataFrame(slownik_list, 
                    index = ['mrówka', 'nasięźrzał', 'pies', 
                             'człowiek', 'rzodkiewnik'])
print(dane)
                              Gatunek  Krolestwo  L_chr  Autotrof
mrówka              Myrmecia pilosula  zwierzęta      2     False
nasięźrzał   Ophioglossum reticulatum    rośliny   1400      True
pies                 Canis familiaris  zwierzęta     36      True
człowiek                 Homo sapiens  zwierzęta     46     False
rzodkiewnik      Arabidopsis thaliana    rośliny     10      True

Dodanie rzędu(ów), podobnie jak w przypadku kolumn, można wykonać na kilka sposobów:

# Metoda append() - słownik

nowe_dane = dane.append({'Gatunek': 'Orobanche macrolepis', 
             'L_chr': 76, 
             'Krolestwo': 'rosliny',
             'Autotrof': False
            }, ignore_index=True)
print(nowe_dane)
                    Gatunek  Krolestwo  L_chr  Autotrof
0         Myrmecia pilosula  zwierzęta      2     False
1  Ophioglossum reticulatum    rośliny   1400      True
2          Canis familiaris  zwierzęta     36      True
3              Homo sapiens  zwierzęta     46     False
4      Arabidopsis thaliana    rośliny     10      True
5      Orobanche macrolepis    rosliny     76     False

Warto zauważyć, że metoda append() nie modyfikuje oryginalnej ramki, ale zwraca zmodyfikowaną kopię, można ją przypisać do tej samej nazwy. Utraciliśmy też etykiety rzędów. Argument ignore_index=True jest konieczny, jeśli dodajemy słowniki, lub obiekty Series bez nazwy. Sprawdźmy zatem jaki będzie efekt dodania serii z nazwą, pozostaniemy też przy starej nazwie ramki:

# Metoda append() - Seria z nazwą

dane = dane.append(pd.Series({'Gatunek': 'Orobanche macrolepis', 
             'L_chr': 76, 
             'Krolestwo': 'rosliny',
             'Autotrof': False
            }, name = 'zaraza'))
print(dane)
                              Gatunek  Krolestwo  L_chr  Autotrof
mrówka              Myrmecia pilosula  zwierzęta      2     False
nasięźrzał   Ophioglossum reticulatum    rośliny   1400      True
pies                 Canis familiaris  zwierzęta     36      True
człowiek                 Homo sapiens  zwierzęta     46     False
rzodkiewnik      Arabidopsis thaliana    rośliny     10      True
zaraza           Orobanche macrolepis    rosliny     76     False

Można też dodać listę serii:

# Metoda append() - dwie serie z nazwą
rzedy = [pd.Series({'Gatunek': 'Saccharomyces cerevisiae', 
                    'L_chr': 32, 
                    'Krolestwo': 'grzyby',
                    'Autotrof': False
                   }, name = 'drożdże'),
         pd.Series({'Gatunek': 'Cuscuta campestris',  
                    'Krolestwo': 'rośliny',
                    'Autotrof': False
                   }, name = 'kanianka')
        ]
print(dane.append(rzedy))

                              Gatunek  Krolestwo   L_chr  Autotrof
mrówka              Myrmecia pilosula  zwierzęta     2.0     False
nasięźrzał   Ophioglossum reticulatum    rośliny  1400.0      True
pies                 Canis familiaris  zwierzęta    36.0      True
człowiek                 Homo sapiens  zwierzęta    46.0     False
rzodkiewnik      Arabidopsis thaliana    rośliny    10.0      True
zaraza           Orobanche macrolepis    rosliny    76.0     False
drożdże      Saccharomyces cerevisiae     grzyby    32.0     False
kanianka           Cuscuta campestris    rośliny     NaN     False

Dodając Cuscuta campestris nie podaliśmy liczby chromosomów (tak naprawdę jest ona znana i wynosi 2n = 56). Zauważ, że w kolumnie L_chr pojawiła się wartość NaN (brak danych) a pozostałe liczby w kolumnie zmieniły się z całkowitych, na zmiennoprzecinkowe. Na razie nie jednak tylko wydrukowaliśmy uzupełnioną kopię ramki dane. Dodajmy dane dotyczące drożdży, używając kolejnego sposobu:

# loc
dane.loc['drożdże'] = {'Gatunek': 'Saccharomyces cerevisiae',
                       'L_chr': 32, 
                       'Krolestwo': 'grzyby',
                       'Autotrof': False}
print(dane)
                              Gatunek  Krolestwo  L_chr  Autotrof
mrówka              Myrmecia pilosula  zwierzęta      2     False
nasięźrzał   Ophioglossum reticulatum    rośliny   1400      True
pies                 Canis familiaris  zwierzęta     36      True
człowiek                 Homo sapiens  zwierzęta     46     False
rzodkiewnik      Arabidopsis thaliana    rośliny     10      True
zaraza           Orobanche macrolepis    rosliny     76     False
drożdże      Saccharomyces cerevisiae     grzyby     32     False

Dzięki loc dodaliśmy na końcu rząd danych opatrzonych etykietą podaną w parze nawiasów kwadratowych.

loc można także użyć w celu podmiany danych:

dane.loc['zaraza'] = {'Gatunek': 'Orobanche cernua', 
             'L_chr': 38, 
             'Krolestwo': 'rosliny',
             'Autotrof': False
            }
print(dane)
                              Gatunek  Krolestwo      L_chr  Autotrof
mrówka              Myrmecia pilosula  zwierzęta          2     False
nasięźrzał   Ophioglossum reticulatum    rośliny       1400      True
pies                 Canis familiaris  zwierzęta         36      True
człowiek                 Homo sapiens  zwierzęta         46     False
rzodkiewnik      Arabidopsis thaliana    rośliny         10      True
zaraza                        Gatunek      L_chr  Krolestwo  Autotrof
drożdże      Saccharomyces cerevisiae     grzyby         32     False

iloc pozwala podmienić rząd danych w miejscu wskazanym przez indeks podany w parze nawiasów kwadratowych:

dane.iloc[5] = {'Gatunek': 'Cuscuta campestris',
                'Krolestwo': 'rośliny',
                'L_chr': 56,
                'Autotrof': False}
print(dane)
                              Gatunek  Krolestwo L_chr Autotrof
mrówka              Myrmecia pilosula  zwierzęta     2    False
nasięźrzał   Ophioglossum reticulatum    rośliny  1400     True
pies                 Canis familiaris  zwierzęta    36     True
człowiek                 Homo sapiens  zwierzęta    46    False
rzodkiewnik      Arabidopsis thaliana    rośliny    10     True
zaraza             Cuscuta campestris    rośliny    56    False
drożdże      Saccharomyces cerevisiae     grzyby    32    False

Zauważ, że choć zmieniły się dane, pozostała stara nazwa rzędu. Cuscuta to nie jest zaraza, ale kanianka, zatem powinniśmy zmienić etykietę:

dane.rename(index={'zaraza': 'kanianka'}, inplace=True)
print(dane)
                              Gatunek  Krolestwo L_chr Autotrof
mrówka              Myrmecia pilosula  zwierzęta     2    False
nasięźrzał   Ophioglossum reticulatum    rośliny  1400     True
pies                 Canis familiaris  zwierzęta    36     True
człowiek                 Homo sapiens  zwierzęta    46    False
rzodkiewnik      Arabidopsis thaliana    rośliny    10     True
kanianka           Cuscuta campestris    rośliny    56    False
drożdże      Saccharomyces cerevisiae     grzyby    32    False

Rząd można usunąć również za pomocą metody drop(), w tym przypadku trzeba jednak ustawić oś na 0, co odpowiada rzędom, można też wpisać rows:

print(dane.drop('pies', axis = 'rows'))
                              Gatunek  Krolestwo L_chr Autotrof
mrówka              Myrmecia pilosula  zwierzęta     2    False
nasięźrzał   Ophioglossum reticulatum    rośliny  1400     True
człowiek                 Homo sapiens  zwierzęta    46    False
rzodkiewnik      Arabidopsis thaliana    rośliny    10     True
kanianka           Cuscuta campestris    rośliny    56    False
drożdże      Saccharomyces cerevisiae     grzyby    32    False

Pobieranie i modyfikacja danych w konkretnych komórkach

Zacznijmy od utworzenia ramki (o ile to konieczne):

import pandas as pd
slownik_list = {'Gatunek': ['Myrmecia pilosula', 
                            'Ophioglossum reticulatum', 
                            'Canis familiaris', 
                            'Homo sapiens', 
                            'Arabidopsis thaliana', 
                            'Cuscuta campestris', 
                            'Saccharomyces cerevisiae'], 
                'Krolestwo': ['zwierzęta', 'rośliny', 'zwierzęta', 'zwierzęta', 
                              'rośliny', 'rośliny', 'grzyby'], 
                'L_chr': [2, 1400, 36, 46, 10, 56, 32], 
                'Autotrof': [False, True, True, False, True, False, False]}

dane = pd.DataFrame(slownik_list, 
                    index =  ['mrówka', 'nasięźrzał', 'pies', 'człowiek', 
                              'rzodkiewnik', 'kanianka', 'drożdże'])
print(dane)
                              Gatunek  Krolestwo  L_chr  Autotrof
mrówka              Myrmecia pilosula  zwierzęta      2     False
nasięźrzał   Ophioglossum reticulatum    rośliny   1400      True
pies                 Canis familiaris  zwierzęta     36      True
człowiek                 Homo sapiens  zwierzęta     46     False
rzodkiewnik      Arabidopsis thaliana    rośliny     10      True
kanianka           Cuscuta campestris    rośliny     56     False
drożdże      Saccharomyces cerevisiae     grzyby     32     False

Pobierać dane z komórek można na różne sposoby:

# Podajemy nazwę kolumny i indeks rzędu
print(dane['Gatunek'][2])
Canis familiaris
# Podajemy nazwę kolumny i etykietę rzędu
print(dane['Gatunek']['pies'])
Canis familiaris
# loc - podajemy etykietę rzędu i nazwę kolumny
print(dane.loc['pies', 'Gatunek'])
Canis familiaris
# iloc - Podajemy indeks rzędu i indeks kolumny
print(dane.iloc[2,0])
Canis familiaris

Modyfikować zawartość komórki możemy np. tak:

# Podajemy nazwę kolumny i indeks rzędu
dane.at['pies', 'Gatunek'] = 'Pieskus domestucus'
print(dane)
                              Gatunek  Krolestwo  L_chr  Autotrof
mrówka              Myrmecia pilosula  zwierzęta      2     False
nasięźrzał   Ophioglossum reticulatum    rośliny   1400      True
pies               Pieskus domestucus  zwierzęta     36      True
człowiek                 Homo sapiens  zwierzęta     46     False
rzodkiewnik      Arabidopsis thaliana    rośliny     10      True
kanianka           Cuscuta campestris    rośliny     56     False
drożdże      Saccharomyces cerevisiae     grzyby     32     False
# Podajemy nazwę kolumny i etykietę rzędu
dane.loc['pies', 'Gatunek'] = 'Pieszczochus kanapus'
print(dane.loc['pies'])
Gatunek     Pieszczochus kanapus 
Krolestwo           zwierzęta
L_chr                      36
Autotrof                 True
Name: pies, dtype: object

Przywróćmy właściwą nazwę psu, używając odwołania do indeksu rzędu i kolumny:

# Podajemy indeks rzędu i indeks kolumny
dane.iloc[2,0] = "Canis familiaris"
print(dane.loc['pies'])
Gatunek      Canis familiaris
Krolestwo           zwierzęta
L_chr                      36
Autotrof                 True
Name: pies, dtype: object

Przy okazji naprawmy rażący błąd w naszych danych: pies przecież nie jest autotrofem!

dane.iloc[2,3] = False
print(dane.loc['pies'])
Gatunek      Canis familiaris
Krolestwo           zwierzęta
L_chr                      36
Autotrof                False
Name: pies, dtype: object

Selekcja danych w kolumnach i rzędach

Tradycyjnie zacznijmy od odtworzenia ramki:

import pandas as pd
slownik_list = {'Gatunek': ['Myrmecia pilosula', 
                            'Ophioglossum reticulatum', 
                            'Canis familiaris', 
                            'Homo sapiens', 
                            'Arabidopsis thaliana', 
                            'Cuscuta campestris', 
                            'Saccharomyces cerevisiae'], 
                'Krolestwo': ['zwierzęta', 'rośliny', 'zwierzęta', 'zwierzęta', 
                              'rośliny', 'rośliny', 'grzyby'], 
                'L_chr': [2, 1400, 36, 46, 10, 56, 32], 
                'Autotrof': [False, True, False, False, True, False, False]}

dane = pd.DataFrame(slownik_list, 
                    index =  ['mrówka', 'nasięźrzał', 'pies', 'człowiek', 
                              'rzodkiewnik', 'kanianka', 'drożdże'])

Stosunkowo łatwo można wyselekcjonować kilka wybranych kolumn z ramki:

Z użyciem nazw kolumn:

print(dane[['Gatunek', 'Autotrof']])
                              Gatunek  Autotrof
mrówka              Myrmecia pilosula     False
nasięźrzał   Ophioglossum reticulatum      True
pies                 Canis familiaris     False
człowiek                 Homo sapiens     False
rzodkiewnik      Arabidopsis thaliana      True
kanianka           Cuscuta campestris     False
drożdże      Saccharomyces cerevisiae     False

Z użyciem indeksów:

print(dane[dane.columns[[0,3]]])
                              Gatunek  Autotrof
mrówka              Myrmecia pilosula     False
nasięźrzał   Ophioglossum reticulatum      True
pies                 Canis familiaris     False
człowiek                 Homo sapiens     False
rzodkiewnik      Arabidopsis thaliana      True
kanianka           Cuscuta campestris     False
drożdże      Saccharomyces cerevisiae     False

Także można podać zakres kolumn:

print(dane[dane.columns[0:3]])
                              Gatunek  Krolestwo  L_chr
mrówka              Myrmecia pilosula  zwierzęta      2
nasięźrzał   Ophioglossum reticulatum    rośliny   1400
pies                 Canis familiaris  zwierzęta     36
człowiek                 Homo sapiens  zwierzęta     46
rzodkiewnik      Arabidopsis thaliana    rośliny     10
kanianka           Cuscuta campestris    rośliny     56
drożdże      Saccharomyces cerevisiae     grzyby     32

W wybieraniu wielu rzędów przydadzą nam się nasi znajomi: loc oraz iloc ale można też użyć zakresu indeksów w parze nawiasów kwadratowych:

print(dane[2:5])
                          Gatunek  Krolestwo  L_chr  Autotrof
pies             Canis familiaris  zwierzęta     36     False
człowiek             Homo sapiens  zwierzęta     46     False
rzodkiewnik  Arabidopsis thaliana    rośliny     10      True
print(dane.loc[['pies', 'mrówka', 'drożdże']])
                          Gatunek  Krolestwo  L_chr  Autotrof
pies             Canis familiaris  zwierzęta     36     False
mrówka          Myrmecia pilosula  zwierzęta      2     False
drożdże  Saccharomyces cerevisiae     grzyby     32     False
print(dane.iloc[[2, 5, 1]])
                             Gatunek  Krolestwo  L_chr  Autotrof
pies                Canis familiaris  zwierzęta     36     False
kanianka          Cuscuta campestris    rośliny     56     False
nasięźrzał  Ophioglossum reticulatum    rośliny   1400      True
print(dane.iloc[2:5])
                          Gatunek  Krolestwo  L_chr  Autotrof
pies             Canis familiaris  zwierzęta     36     False
człowiek             Homo sapiens  zwierzęta     46     False
rzodkiewnik  Arabidopsis thaliana    rośliny     10      True

Można też zawężać wybór do wybranych kolumn i rzędów na raz.

Za pomocą nazw kolumn i wierszy (loc)

print(dane.loc[['pies', 'mrówka', 'kanianka'], 
               ['Krolestwo', 'Autotrof']])
          Krolestwo  Autotrof
pies      zwierzęta     False
mrówka    zwierzęta     False
kanianka    rośliny     False
print(dane.loc['pies': 'kanianka', 
               :'Krolestwo'])
                          Gatunek  Krolestwo
pies             Canis familiaris  zwierzęta
człowiek             Homo sapiens  zwierzęta
rzodkiewnik  Arabidopsis thaliana    rośliny
kanianka       Cuscuta campestris    rośliny

A także indeksów (iloc)

print(dane.iloc[[2, 0, 5], [2, 0]])
          L_chr             Gatunek
pies         36    Canis familiaris
mrówka        2   Myrmecia pilosula
kanianka     56  Cuscuta campestris

Selekcja danych może się także odbywać na podstawie wartości:

print(dane[dane['L_chr'] > 40])
                             Gatunek  Krolestwo  L_chr  Autotrof
nasięźrzał  Ophioglossum reticulatum    rośliny   1400      True
człowiek                Homo sapiens  zwierzęta     46     False
kanianka          Cuscuta campestris    rośliny     56     False
print(dane[dane['Krolestwo'] == 'rośliny'])
                              Gatunek Krolestwo  L_chr  Autotrof
nasięźrzał   Ophioglossum reticulatum   rośliny   1400      True
rzodkiewnik      Arabidopsis thaliana   rośliny     10      True
kanianka           Cuscuta campestris   rośliny     56     False

Można też tworzyć bardziej złożone wyrażenia, używając operatorów & (and) czy | (or).

print(dane[(dane['Krolestwo'] == 'rośliny') & (dane['Autotrof'] == True)])
                              Gatunek Krolestwo  L_chr  Autotrof
nasięźrzał   Ophioglossum reticulatum   rośliny   1400      True
rzodkiewnik      Arabidopsis thaliana   rośliny     10      True

Znak tyldy (~) odwraca wartości boolowskie w serii, zatem możemy go użyć w celu odwrócenia filtrowania wartości, na przeciwny:

print(dane[(dane['Krolestwo'] == 'rośliny') & (~dane['Autotrof'] == True)])
                     Gatunek Krolestwo  L_chr  Autotrof
kanianka  Cuscuta campestris   rośliny     56     False
print(dane[(dane['Krolestwo'] == 'zwierzęta') | (dane['L_chr'] < 40)])
                              Gatunek  Krolestwo  L_chr  Autotrof
mrówka              Myrmecia pilosula  zwierzęta      2     False
pies                 Canis familiaris  zwierzęta     36     False
człowiek                 Homo sapiens  zwierzęta     46     False
rzodkiewnik      Arabidopsis thaliana    rośliny     10      True
drożdże      Saccharomyces cerevisiae     grzyby     32     False

W końcu możemy połączyć selekcję rzędów i kolumn na podstawie indeksów (lub nazw) oraz wartości w komórkach:

print(dane.iloc[:, [0, 3]][dane['Autotrof'] == False])
                           Gatunek  Autotrof
mrówka           Myrmecia pilosula     False
pies              Canis familiaris     False
człowiek              Homo sapiens     False
kanianka        Cuscuta campestris     False
drożdże   Saccharomyces cerevisiae     False
print(dane.loc[:, ['Krolestwo', 'Autotrof']][dane['Autotrof'] == False])
          Krolestwo  Autotrof
mrówka    zwierzęta     False
pies      zwierzęta     False
człowiek  zwierzęta     False
kanianka    rośliny     False
drożdże      grzyby     False

Pobieranie fragmentu ramki przy pomocy loc i iloc jest bardziej efektywne. Ponadto, pobieraniu wycinka ramki, a następnie próbie zmiany w niej wartości, możemy natrafić na pewien problem:

wybrane = dane[dane['Autotrof'] == False]
wybrane['Autotrof']['pies'] = True
print(wybrane)
                           Gatunek  Krolestwo  L_chr  Autotrof
mrówka           Myrmecia pilosula  zwierzęta      2     False
pies              Canis familiaris  zwierzęta     36      True
człowiek              Homo sapiens  zwierzęta     46     False
kanianka        Cuscuta campestris    rośliny     56     False
drożdże   Saccharomyces cerevisiae     grzyby     32     False


<ipython-input-110-3ad69cea41fc>:2: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  wybrane['Autotrof']['pies'] = True
/home/grzeg/anaconda3/lib/python3.8/site-packages/IPython/core/interactiveshell.py:3418: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  exec(code_obj, self.user_global_ns, self.user_ns)

Jak widać operacja się w zasadzie udała ale otrzymaliśmy ostrzeżenie (można więcej na ten temat poczytać w wyświetlanym linku). Aby uniknąć podobnych ostrzeżeń, powinniśmy zrobić dwie rzeczy. Po pierwsze skopiować wyselekcjonowane dane do osobnej ramki. Po drugie użyć loc (lub iloc) do modyfikacji danych:

wybrane = dane[dane['Autotrof'] == False].copy()
wybrane.loc['pies','Autotrof'] = True
print(wybrane)
                           Gatunek  Krolestwo  L_chr  Autotrof
mrówka           Myrmecia pilosula  zwierzęta      2     False
pies              Canis familiaris  zwierzęta     36      True
człowiek              Homo sapiens  zwierzęta     46     False
kanianka        Cuscuta campestris    rośliny     56     False
drożdże   Saccharomyces cerevisiae     grzyby     32     False

Oczywiście pamiętajmy, że pies NIE jest autotrofem ;-)

Z pobrane serii danych możemy, podobnie jak to robiliśmy na obiektach Series, wyliczyć różne wartości, używając odpowiednich funkcji, lub metod, np:

chrom_2n = dane['L_chr']
print(chrom_2n)
mrówka            2
nasięźrzał     1400
pies             36
człowiek         46
rzodkiewnik      10
kanianka         56
drożdże          32
Name: L_chr, dtype: int64
print(f'suma:       {chrom_2n.sum()}')
print(f'największa: {chrom_2n.max()}')
print(f'średnia:    {chrom_2n.mean()}')
print(f'mediana:    {chrom_2n.median()}')
suma:       1582
największa: 1400
średnia:    226.0
mediana:    36.0

Transpozycja ramki

Ramki (podobnie zresztą jak tablice ndarray) można łatwo przekształcić tak, że kolumny stają się wierszami a wiersze kolumnami. Taką operację nazywamy transponowaniem. Można to wykonać, wykorzystując atrybut T Odtwórzmy ramkę danych, tym razem nieco mniejszą:

import pandas as pd
slownik_list = {'Gatunek': ['M. pilosula', 
                            'C. familiaris',
                            'C. campestris', 
                            'S. cerevisiae'],
                'Krolestwo': ['zwierzęta', 'zwierzęta', 
                              'rośliny', 'grzyby'], 
                'L_chr': [2, 36, 56, 32], 
                'Autotrof': [False, False, False, False]}

dane = pd.DataFrame(slownik_list, 
                    index =  ['mrówka', 'pies', 
                              'kanianka', 'drożdże'])
print(dane)
                Gatunek  Krolestwo  L_chr  Autotrof
mrówka      M. pilosula  zwierzęta      2     False
pies      C. familiaris  zwierzęta     36     False
kanianka  C. campestris    rośliny     56     False
drożdże   S. cerevisiae     grzyby     32     False
dane_t = dane.T
print(dane_t)
                mrówka           pies       kanianka        drożdże
Gatunek    M. pilosula  C. familiaris  C. campestris  S. cerevisiae
Krolestwo    zwierzęta      zwierzęta        rośliny         grzyby
L_chr                2             36             56             32
Autotrof         False          False          False          False
Last updated on 24 Mar 2021
Published on 24 Mar 2021