Strony
Uczestnicy
Główne składowe
Temat 1
Temat 2
Temat 3
Temat 4
Temat 5
Temat 6
Temat 7
Temat 9
Temat 16
poznamy najbardziej złożone parametry warsztatów:
W formularzu definicji warsztatów jest parametr Strategia oceniania. Decyduje on o sposobie, w jaki uczniowie będą oceniali prace pozostałych uczestników warsztatów. W pierwszych warsztatach, które utworzyliśmy na poprzednich zajęciach, zastosowaliśmy metodę sumacyjną. Nie był to wybór przemyślany - po prostu pozostaliśmy przy opcji, która była już wybrana w formularzu. W tym rozdziale poznamy wszystkie dostępne metody o nazwach: nie oceniane, sumacyjna, zależna od ilości błędów, kryterium i rubryka. | Prześledzimy na przykładzie jednego zadania - przepisu na potrawę biwakową - formularze i kryteria ocen wygenerowane dla każdej z nich. Pozwoli nam to zaobserwować prydatność poszczególnych metod oceny dla konkretnego zadania, a w przyszłości - właściwie dobrać strategię oceniania do zadania stawianego w warsztatach. |
W tej strategii uczniowie nie oceniają otrzymanych do wglądu prac - ich zadaniem jest jedynie zapoznanie się z nimi i skomentowanie. W formularzu oceny można wskazać kilka konkretnych aspektów pracy, które uczeń powinien skomentować - liczbę tych aspektów trzeba podać jako parametr Ilość komentarzy.... Nie wyróżniając żadnych aspektów (parametrowi Ilość komentarzy... nadajemy wartość 0), pozostawiamy mu tylko możliwość wpisania komentarza ogólnego.
Pokaż/ukryj definiowanie formularza oceny, podgląd formularza oceny.
W strategii tej nie ma ocen wystawianych za prace. Nauczyciel może jednak, jeśli chce, ocenić zamieszczone przez uczniów komentarze. Stopnie te są podstawą końcowej oceny wystawianej uczniom. Jeżeli nauczyciel nie oceni komentarzy, wówczas nie jest wyliczany końcowy stopień za udział w warsztatach.
Strategia sumacyjna należy do najbardziej typowych sposobów oceny. Autor warsztatów musi podać kryteria, na podstawie których będą oceniane prace (liczbę kryteriów trzeba wpisać, jako wartość parametru Ilość komentarzy... w formularzu warsztatów). Dla każdego kryterium wybiera jedną z dostępnych skal ocen. Z każdym też wiąże wagę - liczbę całkowitą, która określa, jak istotne jest to kryterium dla oceny całej pracy.
Na przykład, jeśli dla zadania wyznaczymy trzy kryteria i określimy skale i wagi następująco:
Kryterium | Skala ocen | Waga | Wystawiona ocena | Ułamek oceny końcowej 1/(suma wag) * waga * ocena/(max. skali) |
pierwsze | skala 100-punktowa | 4 | 55 | 1/(4+2+1) * 4 * (55/100) = 0,3142871... |
drugie | trzypunktowa skala dobrze/źle | 2 | dobrze | 1/(4+2+1) * 2 * (2/2) = 0,285714... |
trzecie | skala 20-punktowa | 1 | 7 | 1/(4+2+1) * 1 * (7/20) = 0,05 |
RAZEM | od 0 do 1 (przeliczane potem na punkty za warsztaty) |
suma wag = 7 | 0.65 * (ocena za warsztaty) | 0,65 |
Uczeń ocenia prace wybierając stosowną według niego ocenę dla każdego kryterium. Każdą ocenę i pracę jako całość, może dodatkowo skomentować, ale ocena jest wyliczana na podstawie ocen cząstkowych i komentarze nie są przy tym brane pod uwagę. W powyższej tabeli widzimy, jak w przykładzie oceny zostały przeliczone na punkty za warsztaty.
Skale ocen, z których można korzystać przy ocenianiu kryteriów, to standardowe skale ocen Moodle oraz skale ocen zdefiniowane przez użytkownika. Więcej o skalach ocen można przeczytać w temacie 10.
Pokaż/ukryj definiowanie formularza oceny, podgląd formularza oceny.
W tej strategii autor warsztatów musi zaproponować kompletny zestaw zdań kryterialnych opisujących rozwiązanie zadania (ich liczbę podajemy jako parametr Ilość komentarzy... w formularzu warsztatów). Z każdym z nich wiąże odpowiednią ocenę w skali od 0 do 100. Zadaniem ucznia oceniającego pracę jest wybór zdania kryterialnego najlepiej opisującego pracę - autor pracy dostanie od niego liczbę punktów wyliczonych na podstawie liczby przypisanej temu zdaniu.
Ten sposób oceniania może być prosty i szybki dla uczniów, jesli tylko zaproponowany zestaw zdań kryterialnych nie budzi wątpliwości. Nie zawsze jednak jest możliwe zaproponowanie takiego zestawu ocen zadania. Już na zaprezentowanym niżej przykładzie widać, że ocena przy takim zestawie zdań kryterialnych jest trudna do wykonania, bo nie wyczerpują one całego spectrum możliwości i nie różnicują ich w sposób wystarczająco oczywisty.
Pokaż/ukryj definiowanie formularza oceny, podgląd formularza oceny.
W tej strategii autor zadania wskazuje kilka warunków (ich liczbę podajemy jako parametr Ilość komentarzy... w formularzu warsztatów), które powinny spełniać prace. Zadaniem oceniającego jest wskazanie, które warunki są spełnione, a które nie są. Ocena za pracę jest zależna od liczby spełnionych warunków. Definiując warsztaty (formularz oceniania), określamy, jaka ocena odpowiada okreslonej liczbie błędów (niespełnionych warunków). Jak widać na poniższym przykładzie, oceny nie muszą być prosto (liniowo) zależne od liczby warunków. Trzeba jednak je bardzo uważnie przeanalizować, by nie wypaczyć ocen za całe zadanie.
Pokaż/ukryj definiowanie formularza oceny, podgląd formularza oceny.
W tej metodzie bierze się pod uwagę kilka składowych pracy (ich liczbę podajemy jako parametr Ilość komentarzy... w formularzu warsztatów) i każdą z nich ocenia metodą analogiczną, jak w strategii według kryterium. Oznacza to, że autor warsztatów dla każdej składowej przygotowuje zestaw zdań kryterialnych i tabelę ocen. Każdej składowej może także przypisać oddzielnie wagę. Końcowa ocena jest wyliczana jako średnia ważona analogicznie jak w ocenianiu sumacyjnym. W tej metodzie oceniający NIE może zmienić wyliczonej oceny (najwyżej składowe).
Pokaż/ukryj definiowanie formularza oceny, podgląd formularza oceny.
Prace przykładowe służą do przygotowania uczniów do oceniania innych prac. Przygotowuje je i zgłasza na warsztaty nauczyciel. Następnie musi także ocenić każdy ze zgłoszonych przykładów. Parametr warsztatów Ilość ocen przykładów przesłanych przez prowadzącego określa, ile prac przykładowych musi ocenić każdy uczeń, zanim będzie mógł przystąpić do oceniania innych prac. | Moodle przydziela uczniom losowo przykładowe prace do oceny. Każda ocena jest porównywana z oceną wystawioną przez nauczyciela i ma wpływ na ocenę wystawianą potem uczniowi za ocenianie innych prac. |
Nauczyciel może przygotować i przesłać na warsztaty dowolną liczbę przykładów. Służy do tego link Prześlij przykładowe rozwiązanie, który nauczyciel widzi na stronie warsztatów. Każdy przykład nauczyciel musi ocenić zgodnie z kryteriami obowiązującymi na warsztatach. Na poniższym przykładzie widzimy, że nauczyciel przygotował trzy prace: Barbara, Indianie i Marzec. Dał im oceny równe odpowiednio 58, 30 i 88. Każdą z nich może zmienić (ikonka ) lub unieważnić (ikonka ). W każdej chwili może także zgłosić kolejne przykłady klikając na link Prześlij przykładowe rozwiązanie.
Moodle wybiera losowo przykłady i przydziela je uczniom do oceny. W czasie oceniania uczeń nie widzi oceny nauczyciela. Natomiast im jest jej bliższy, tym lepszą dostanie ocenę za ocenianie. Na poniższym przykładzie jest przedstawiona strona Administracja tych samych warsztatów, co poprzednio. Widzimy na niej tabelę Oceny Student, z której wynika, że:
Za każdą wystawioną ocenę system Moodle nalicza ocenę za ocenienie. Jest ona widoczna we wszystkich tabelkach z wykazami ocen - znajduje się obok wystawionej oceny w nawiasach okrągłych. | Ostatecznie jest też podstawą ostatecznej oceny za ocenianie wystawianej uczniowi. Najwyższa pora zastanowić się, skąd bierze się jej wartość i jaki wpływ ma na nią nauczyciel lub autor warsztatów. |
Pierwszy krok wystawiania ocen za ocenianie to wyznaczenie oceny wzorcowej. W tym celu Moodle wyznacza średnią ocenę dla każdej składowej oceny (czyli średnią arytmetyczną ocen wystawionych za daną składową). Na podstawie średnich, dla każdej oceny jest wyznaczana wariancja, która dobrze oddaje zbieżność oceny ze średnią na wszystkich składowych. Ocenę, dla której wariancja jest najmniejsza, uznajemy za wzorcową.
Kolejny krok, to porównanie każdej oceny z wzorcową. Za miarę odległości od wzorca przyjmujemy ważoną sumę kwadratów różnic ocen za składowe. Zobaczmy na przykładzie, co to oznacza:
Kryterium | Skala ocen | Waga | Wystawiona ocena | Ocena wzorcowa | Różnica na
składowej ((wzorcowaOcena-ocena)*wagaSkładowej/MaxZaSkładową)^2 |
pierwsze | skala 100-punktowa | 4 | 55 | 70 | ((70-55)*4/100)^2=0,36 |
drugie | trzypunktowa skala dobrze/źle | 2 | dobrze | źle | ((0-2)*2/3)^2=1,778 |
trzecie | skala 20-punktowa | 1 | 7 | 12 | ((12-7)*1/20)^2=0,0625 |
Wyliczone różnice są składane w jedną ocenę za ocenę. Podstawą obliczeń
jest wzór
(1-sumaRóżnic/sumaWag)*100
Sposób obliczania oceny za ocenę jest modyfikowany w zależności od wartości parametru Porównanie ocen z ustawień warsztatów. Parametr ten określa, jak ściśle powinny być porównywane ocena wzorcowa i rozważana. Wartości wymagające dużej zgodności powodują "ukaranie" oceniającego już za małe odstępstwa. Wartości łagodniej traktujące rozbieżności, powodują wystawianie wyższych ocen za ocenianie.
Z parametrem Porównanie
ocen jest związany
współczynnik F, który wykorzystujemy w
zmodyfikowanym wzorze na ocenę za ocenę:
(1-F*sumaRóżnic/sumaWag)*100
Porównanie ocen | Wartość F | Ocena za
ocenę suma różnic = 2,2005 |
Ocena za ocenę wzorcową suma różnic = 0 |
Bardzo dobrze (Very strict) | 5 | (1-5*(2,2005/7))*100=-57,18 |
(1-5*(0/7))*100=100 |
Dokładnie (Strict) | 3 | (1-3*(2,2005/7))*100=5,69 |
(1-5*(0/7))*100=100 |
Odpowiednio (Fair) | 2,5 | (1-2,5*(2,2005/7))*100=21,41 |
(1-5*(0/7))*100=100 |
Luźno (Lax) | 1,67 | (1-1,67*(2,2005/7))*100=47,50 |
(1-5*(0/7))*100=100 |
Dość dobrze (Very Lax) | 1 | (1-1*(2,2005/7))*100=68,56 |
(1-5*(0/7))*100=100 |
Oceny za ocenianie są obliczane na podstawie zbieżności ocen wystawionych przez daną osobę ze średnią wystawionych ocen. Metody wyznaczania średniej i pomiaru rozbieżności pomiedzy oceną i średnią wynikają z zasad statystyki i sprawdzają się w wielu przypadkach (są jednak bardziej miarodajne przy dużych próbkach, czyli gdy mamy dużo uczestników, ocen i prac). To wszystko nie zmienia faktu, że w naszym przypadku możemy nie być zadowoleni z otrzymanego efektu.
Niestety(?) nie mamy możliwości manipulowania wynikami warsztatów w dowolny sposób. Możemy jednak, przede wszystkim przez aktywne uczestnictwo w warsztatach, istotnie wpływać na ocenę wzorcową i wybierać dający najlepsze wyniki sposób porównywania ocen. Ocenę wzorcową nauczyciel kształtuje oceniając prace uczestników i nadając wysoką wagę swojej ocenie. Sposób oceniania ustala wybierając wartość parametru Porównanie ocen. Na ocenę za ocenianie mają także wpływ prace przykładowe dostarczone przez nauczyciela - ich ocenianie jest również liczone uczestnikom na poczet oceny za ocenianie i błędy w tym względzie ją widocznie obniżają.
Rozważmy przykładowe warsztaty. Prześledźmy najpierw, jak na oceny wystawione uczniom za ocenianie wpływa zmiana parametru Porównanie ocen. Widoczne są one w kolumnie zatwierdź ocenę i łatwo zauważyć, że maleją, gdy stosujemy dokładniejsze porównywanie ocen z wzorcami. Spadki te są także widoczne w ocenach za poszczególne oceny wyświetlonych w nawiasach okrągłych przy każdej ocenie.
Jeśli wystawienie oceny Moodle oceni na zero, to ocena taka zostaje unieważniona, jako niewiarygodna. Na wykazie jest wyświetlana w nawiasach trójkątnych zamiast klamrowych. Oczywiście taka ocena wpływa negatywnie na ocenę za ocenianie. Natomiast na ocenę za pracę przestaje mieć wpływ - przyjmuje się, że praca dostała o jedną ocenę mniej.
Dana ocena może być ważna przy jednym sposobie porównywania ocen i stać się nieważną przy innym. W ten sposób porównywanie ocen wpływa także pośrednio na oceny za prace.
Porównajmy także na przykładzie, jak na oceny prac i oceniania wpływa waga oceny nauczyciela. Widzimy, że wpłynęła ona bezpośrednio na oceny wystawione za prace (kolumna Ocena). Nie spowodowała jednak zmian ocen za ocenianie, choć ma na nie wpływ. Najwyraźniej zmiana wagi nie zmieniła ocen wzorcowych - zostały wyznaczone takie same w obu przypadkach.
Warsztaty są trudne? |
Warsztaty powinny odciążyć nauczyciela? |
Moje warsztaty są nieaktualne? |
Warsztaty są nieprzewidywalne? |