Warsztaty - złożone opcje

W ramach tych zajęć

poznamy najbardziej złożone parametry warsztatów:

Metody oceny prac

W formularzu definicji warsztatów jest parametr Strategia oceniania. Decyduje on o sposobie, w jaki uczniowie będą oceniali prace pozostałych uczestników warsztatów. W pierwszych warsztatach, które utworzyliśmy na poprzednich zajęciach, zastosowaliśmy metodę sumacyjną. Nie był to wybór przemyślany - po prostu pozostaliśmy przy opcji, która była już wybrana w formularzu. W tym rozdziale poznamy wszystkie dostępne metody o nazwach: nie oceniane, sumacyjna, zależna od ilości błędów, kryterium i rubryka. Prześledzimy na przykładzie jednego zadania - przepisu na potrawę biwakową - formularze i kryteria ocen wygenerowane dla każdej z nich. Pozwoli nam to zaobserwować prydatność poszczególnych metod oceny dla konkretnego zadania, a w przyszłości - właściwie dobrać strategię oceniania do zadania stawianego w warsztatach.

Strategia "nie oceniane"

W tej strategii uczniowie nie oceniają otrzymanych do wglądu prac - ich zadaniem jest jedynie zapoznanie się z nimi i skomentowanie. W formularzu oceny można wskazać kilka konkretnych aspektów pracy, które uczeń powinien skomentować - liczbę tych aspektów trzeba podać jako parametr Ilość komentarzy.... Nie wyróżniając żadnych aspektów (parametrowi Ilość komentarzy... nadajemy wartość 0), pozostawiamy mu tylko możliwość wpisania komentarza ogólnego.

Pokaż/ukryj definiowanie formularza oceny, podgląd formularza oceny.

W strategii tej nie ma ocen wystawianych za prace. Nauczyciel może jednak, jeśli chce, ocenić zamieszczone przez uczniów komentarze. Stopnie te są podstawą końcowej oceny wystawianej uczniom. Jeżeli nauczyciel nie oceni komentarzy, wówczas nie jest wyliczany końcowy stopień za udział w warsztatach.

Strategia sumacyjna

Strategia sumacyjna należy do najbardziej typowych sposobów oceny. Autor warsztatów musi podać kryteria, na podstawie których będą oceniane prace (liczbę kryteriów trzeba wpisać, jako wartość parametru Ilość komentarzy... w formularzu warsztatów). Dla każdego kryterium wybiera jedną z dostępnych skal ocen. Z każdym też wiąże wagę - liczbę całkowitą, która określa, jak istotne jest to kryterium dla oceny całej pracy.

Na przykład, jeśli dla zadania wyznaczymy trzy kryteria i określimy skale i wagi następująco:

Kryterium Skala ocen Waga Wystawiona ocena Ułamek oceny końcowej
1/(suma wag) * waga * ocena/(max. skali)
pierwsze skala 100-punktowa 4 55
1/(4+2+1) * 4 * (55/100) = 0,3142871...
drugie trzypunktowa skala dobrze/źle 2 dobrze
1/(4+2+1) * 2 * (2/2) = 0,285714...
trzecie skala 20-punktowa 1 7
1/(4+2+1) * 1 * (7/20) = 0,05
RAZEM od 0 do 1
(przeliczane potem na punkty za warsztaty)
suma wag = 7 0.65 * (ocena za warsztaty)
0,65

Uczeń ocenia prace wybierając stosowną według niego ocenę dla każdego kryterium. Każdą ocenę i pracę jako całość, może dodatkowo skomentować, ale ocena jest wyliczana na podstawie ocen cząstkowych i komentarze nie są przy tym brane pod uwagę. W powyższej tabeli widzimy, jak w przykładzie oceny zostały przeliczone na punkty za warsztaty.

Skale ocen, z których można korzystać przy ocenianiu kryteriów, to standardowe skale ocen Moodle oraz skale ocen zdefiniowane przez użytkownika. Więcej o skalach ocen można przeczytać w temacie 10.

Pokaż/ukryj definiowanie formularza oceny, podgląd formularza oceny.

Strategia "kryterium"

W tej strategii autor warsztatów musi zaproponować kompletny zestaw zdań kryterialnych opisujących rozwiązanie zadania (ich liczbę podajemy jako parametr Ilość komentarzy... w formularzu warsztatów). Z każdym z nich wiąże odpowiednią ocenę w skali od 0 do 100. Zadaniem ucznia oceniającego pracę jest wybór zdania kryterialnego najlepiej opisującego pracę - autor pracy dostanie od niego liczbę punktów wyliczonych na podstawie liczby przypisanej temu zdaniu.

Ten sposób oceniania może być prosty i szybki dla uczniów, jesli tylko zaproponowany zestaw zdań kryterialnych nie budzi wątpliwości. Nie zawsze jednak jest możliwe zaproponowanie takiego zestawu ocen zadania. Już na zaprezentowanym niżej przykładzie widać, że ocena przy takim zestawie zdań kryterialnych jest trudna do wykonania, bo nie wyczerpują one całego spectrum możliwości i nie różnicują ich w sposób wystarczająco oczywisty.

Pokaż/ukryj definiowanie formularza oceny, podgląd formularza oceny.

Strategia "zależna od ilości błędów"

W tej strategii autor zadania wskazuje kilka warunków (ich liczbę podajemy jako parametr Ilość komentarzy... w formularzu warsztatów), które powinny spełniać prace. Zadaniem oceniającego jest wskazanie, które warunki są spełnione, a które nie są. Ocena za pracę jest zależna od liczby spełnionych warunków. Definiując warsztaty (formularz oceniania), określamy, jaka ocena odpowiada okreslonej liczbie błędów (niespełnionych warunków). Jak widać na poniższym przykładzie, oceny nie muszą być prosto (liniowo) zależne od liczby warunków. Trzeba jednak je bardzo uważnie przeanalizować, by nie wypaczyć ocen za całe zadanie.

Pokaż/ukryj definiowanie formularza oceny, podgląd formularza oceny.

Strategia "rubryka"

W tej metodzie bierze się pod uwagę kilka składowych pracy (ich liczbę podajemy jako parametr Ilość komentarzy... w formularzu warsztatów) i każdą z nich ocenia metodą analogiczną, jak w strategii według kryterium. Oznacza to, że autor warsztatów dla każdej składowej przygotowuje zestaw zdań kryterialnych i tabelę ocen. Każdej składowej może także przypisać oddzielnie wagę. Końcowa ocena jest wyliczana jako średnia ważona analogicznie jak w ocenianiu sumacyjnym. W tej metodzie oceniający NIE może zmienić wyliczonej oceny (najwyżej składowe).

Pokaż/ukryj definiowanie formularza oceny, podgląd formularza oceny.

Prace przykładowe

Prace przykładowe służą do przygotowania uczniów do oceniania innych prac. Przygotowuje je i zgłasza na warsztaty nauczyciel. Następnie musi także ocenić każdy ze zgłoszonych przykładów. Parametr warsztatów Ilość ocen przykładów przesłanych przez prowadzącego określa, ile prac przykładowych musi ocenić każdy uczeń, zanim będzie mógł przystąpić do oceniania innych prac. Moodle przydziela uczniom losowo przykładowe prace do oceny. Każda ocena jest porównywana z oceną wystawioną przez nauczyciela i ma wpływ na ocenę wystawianą potem uczniowi za ocenianie innych prac.

Przygotowanie przykładów

Nauczyciel może przygotować i przesłać na warsztaty dowolną liczbę przykładów. Służy do tego link Prześlij przykładowe rozwiązanie, który nauczyciel widzi na stronie warsztatów. Każdy przykład nauczyciel musi ocenić zgodnie z kryteriami obowiązującymi na warsztatach. Na poniższym przykładzie widzimy, że nauczyciel przygotował trzy prace: Barbara, Indianie i Marzec. Dał im oceny równe odpowiednio 58, 30 i 88. Każdą z nich może zmienić (ikonka ) lub unieważnić (ikonka ). W każdej chwili może także zgłosić kolejne przykłady klikając na link Prześlij przykładowe rozwiązanie.


Ocena przykładów

Moodle wybiera losowo przykłady i przydziela je uczniom do oceny. W czasie oceniania uczeń nie widzi oceny nauczyciela. Natomiast im jest jej bliższy, tym lepszą dostanie ocenę za ocenianie. Na poniższym przykładzie jest przedstawiona strona Administracja tych samych warsztatów, co poprzednio. Widzimy na niej tabelę Oceny Student, z której wynika, że:

  • Anna Abacka dostała do oceny przykłady Indianie, Barbara i Marzec; wystawiła im odpowiednio oceny: 0, 63 i 88;
  • Basia Babacka dostała do oceny przykłady Indianie i Barbara; wystawiła im odpowiednio oceny: 0 i 75;
  • Cesia Cabacka dostała do oceny przykład Marzec i wystawiła mu ocenę 100;
  • ostatnia osoba, to nauczyciel; jak widzimy ocenił wszystkie prace przykładowe.

Uwaga: Przy każdej ocenie wystawionej przez studenta lub prowadzącego (wyświetlonej w nawiasach klamrowych) widzimy także (w nawiasach okrągłych), jaką ocenę ze tę ocenę wystawia Moodle. Na razie informacje te mogą wydawać się nam niejasne - do ich analizy powrócimy w kolejnym rozdziale.

Wyznaczenie oceny za ocenianie

Za każdą wystawioną ocenę system Moodle nalicza ocenę za ocenienie. Jest ona widoczna we wszystkich tabelkach z wykazami ocen - znajduje się obok wystawionej oceny w nawiasach okrągłych. Ostatecznie jest też podstawą ostatecznej oceny za ocenianie wystawianej uczniowi. Najwyższa pora zastanowić się, skąd bierze się jej wartość i jaki wpływ ma na nią nauczyciel lub autor warsztatów.

Ocena wzorcowa i odstępstwa od wzorca

Pierwszy krok wystawiania ocen za ocenianie to wyznaczenie oceny wzorcowej. W tym celu Moodle wyznacza średnią ocenę dla każdej składowej oceny (czyli średnią arytmetyczną ocen wystawionych za daną składową). Na podstawie średnich, dla każdej oceny jest wyznaczana wariancja, która dobrze oddaje zbieżność oceny ze średnią na wszystkich składowych. Ocenę, dla której wariancja jest najmniejsza, uznajemy za wzorcową.

Kolejny krok, to porównanie każdej oceny z wzorcową. Za miarę odległości od wzorca przyjmujemy ważoną sumę kwadratów różnic ocen za składowe. Zobaczmy na przykładzie, co to oznacza:

Kryterium Skala ocen Waga Wystawiona ocena Ocena wzorcowa Różnica na składowej
((wzorcowaOcena-ocena)*wagaSkładowej/MaxZaSkładową)^2
pierwsze skala 100-punktowa 4 55 70
((70-55)*4/100)^2=0,36
drugie trzypunktowa skala dobrze/źle 2 dobrze źle
((0-2)*2/3)^2=1,778
trzecie skala 20-punktowa 1 7 12
((12-7)*1/20)^2=0,0625

Wyliczone różnice są składane w jedną ocenę za ocenę. Podstawą obliczeń jest wzór

(1-sumaRóżnic/sumaWag)*100

Sposób obliczania oceny za ocenę jest modyfikowany w zależności od wartości parametru Porównanie ocen z ustawień warsztatów. Parametr ten określa, jak ściśle powinny być porównywane ocena wzorcowa i rozważana. Wartości wymagające dużej zgodności powodują "ukaranie" oceniającego już za małe odstępstwa. Wartości łagodniej traktujące rozbieżności, powodują wystawianie wyższych ocen za ocenianie.

Z parametrem Porównanie ocen jest związany współczynnik F, który wykorzystujemy w zmodyfikowanym wzorze na ocenę za ocenę:

(1-F*sumaRóżnic/sumaWag)*100

W poniższej tabeli widzimy dostępne wartości parametru Porównanie ocen i związane z nimi wartości współczynnika F. W kolejnych kolumnach widzimy, jak wybór opcji wpływa na ocenę wystawioną za przykładową ocenę (analizowaną w poprzednim przykładzie). W przypadku, gdy z obliczeń wynika ocena ujemna, jest ona zastępowana przez zero (taki przypadek wystąpi w pierwszym przypadku).

Porównanie ocen Wartość F Ocena za ocenę
suma różnic = 2,2005
Ocena za ocenę wzorcową
suma różnic = 0
Bardzo dobrze (Very strict) 5
(1-5*(2,2005/7))*100=-57,18
(1-5*(0/7))*100=100
Dokładnie (Strict) 3
(1-3*(2,2005/7))*100=5,69
(1-5*(0/7))*100=100
Odpowiednio (Fair) 2,5
(1-2,5*(2,2005/7))*100=21,41
(1-5*(0/7))*100=100
Luźno (Lax) 1,67
(1-1,67*(2,2005/7))*100=47,50
(1-5*(0/7))*100=100
Dość dobrze (Very Lax) 1
(1-1*(2,2005/7))*100=68,56
(1-5*(0/7))*100=100

Uwaga: Nazwy wartości parametru Porównanie ocen w polskiej wersji Moodle trudno nazwać szczęśliwymi. Prawdopodobnie zmienią się przy najbliższych poprawkach w tłumaczeniu. Przytoczone nazwy angielskie są bardziej adekwatne, choć wśród twórców Moodle toczy się dyskusja, czy nie powinny być zmienione a spectrum wartości parametru zredukowane.

Korekta ocen za ocenianie

Oceny za ocenianie są obliczane na podstawie zbieżności ocen wystawionych przez daną osobę ze średnią wystawionych ocen. Metody wyznaczania średniej i pomiaru rozbieżności pomiedzy oceną i średnią wynikają z zasad statystyki i sprawdzają się w wielu przypadkach (są jednak bardziej miarodajne przy dużych próbkach, czyli gdy mamy dużo uczestników, ocen i prac). To wszystko nie zmienia faktu, że w naszym przypadku możemy nie być zadowoleni z otrzymanego efektu.

Niestety(?) nie mamy możliwości manipulowania wynikami warsztatów w dowolny sposób. Możemy jednak, przede wszystkim przez aktywne uczestnictwo w warsztatach, istotnie wpływać na ocenę wzorcową i wybierać dający najlepsze wyniki sposób porównywania ocen. Ocenę wzorcową nauczyciel kształtuje oceniając prace uczestników i nadając wysoką wagę swojej ocenie. Sposób oceniania ustala wybierając wartość parametru Porównanie ocen. Na ocenę za ocenianie mają także wpływ prace przykładowe dostarczone przez nauczyciela - ich ocenianie jest również liczone uczestnikom na poczet oceny za ocenianie i błędy w tym względzie ją widocznie obniżają.

Rozważmy przykładowe warsztaty. Prześledźmy najpierw, jak na oceny wystawione uczniom za ocenianie wpływa zmiana parametru Porównanie ocen. Widoczne są one w kolumnie zatwierdź ocenę i łatwo zauważyć, że maleją, gdy stosujemy dokładniejsze porównywanie ocen z wzorcami. Spadki te są także widoczne w ocenach za poszczególne oceny wyświetlonych w nawiasach okrągłych przy każdej ocenie.

Dość dobrze (very lax)

Luźny (lax)

Odpowiednie (fair)

Dokładne (strict)

Bardzo dobre (very strict)

Oceny unieważnione

Jeśli wystawienie oceny Moodle oceni na zero, to ocena taka zostaje unieważniona, jako niewiarygodna. Na wykazie jest wyświetlana w nawiasach trójkątnych zamiast klamrowych. Oczywiście taka ocena wpływa negatywnie na ocenę za ocenianie. Natomiast na ocenę za pracę przestaje mieć wpływ - przyjmuje się, że praca dostała o jedną ocenę mniej.

Dana ocena może być ważna przy jednym sposobie porównywania ocen i stać się nieważną przy innym. W ten sposób porównywanie ocen wpływa także pośrednio na oceny za prace.

Waga oceny nauczyciela

Porównajmy także na przykładzie, jak na oceny prac i oceniania wpływa waga oceny nauczyciela. Widzimy, że wpłynęła ona bezpośrednio na oceny wystawione za prace (kolumna Ocena). Nie spowodowała jednak zmian ocen za ocenianie, choć ma na nie wpływ. Najwyraźniej zmiana wagi nie zmieniła ocen wzorcowych - zostały wyznaczone takie same w obu przypadkach.

Waga oceny nauczyciela = 2

Waga oceny nauczyciela = 5

Prawdy i mity o warsztatach

Warsztaty są trudne?

Warsztaty powinny odciążyć nauczyciela?

Moje warsztaty są nieaktualne?

Warsztaty są nieprzewidywalne?

Ostatnia modyfikacja: sobota, 12 marzec 2011, 22:07
Pomiń Nawigacja

Nawigacja

Pomiń Ustawienia

Ustawienia