Developing a comprehensive metric for assessing discussion board effectiveness論文實驗的方法和結果

文章出處:http://faculty.uoit.ca/kay/pub/papers/bjet_560.pdf

method:
sample(樣本):
是由45個中學的學生加入，地點是在大都市中的ㄧ個中學，參加者皆是男生，年齡介於13~15歲，被分成兩個班級，ㄧ班22人，ㄧ班23人。

procedure(程序):
在這裡面，學生會被要求要貢獻訊息在兩個連續且非同步的線上討論中，為了要補充在學習HTML(24 days)然後開始演練(36 days)。線上討論為固定的面對面的行程中的ㄧ部分，每天見面時間90分鐘，佔總成績的10%，而且為了鼓勵參加，裡面沒有特殊的指導方式。在此討論版中主要是學生導向，老師只有在學生有無法解決的問題時才會介入，在每個主題完成時，都會要求他們加入考察，而主題開始和主題結束的問題都會包括在考察中。

Data collection and analysis(資料的取得和分析):
在以前的資料中提到有三個關鍵的部份要去收集，以便於分析，包含了(1)解釋線上討論版的資訊，(2)分析那些用統計學收集累積起來的數據，要如何實際應用，(3)在每個主題的最後面要有態度分類的研究，最後，為了要讓結果正確且確實，必須有兩個或多個的變數去評估。在此篇中所謂的變數即是之前提及的十二種方面，提供在Appendix A中。

Coding of online discussion messages(辨別線上討論版的資訊):
為了讓辨識更透明化，Appendix B提供ㄧ個可深入探討的成規，在這份學習中給關鍵的變數使用。

Blackboard statistics(Blackboard 統計學):
[BlackBoard系統是國外市場佔有率極高的網路教學平台]:自己查找的，非文章內容
Blackboard程式會自動的用統計的方式收集以下這些資訊:(1)訊息發布的時間,(2)其他人閱讀文章所需花費的時間,(3)學生造訪討論版的次數,(4)學生造訪的天數,(5)學生po在討論版上的文章數目。

Survey data(研究資料):
在每次學生完成一個方向的主題之後，有兩個關鍵的問題會被問到:
1.你有使用討論版嗎?請解釋為什麼要用或為什麼不用。
2.討論版對你來說有用處嗎?請解釋為什麼有用或為什麼沒用。

這些回應用來描述和分類以下兩個問題:(1)參加或不參加的原因(2)討論版為何會被認為有用或是沒有用。每個種類的次數(頻率)在往後都會ㄧㄧ探討。

Learning performance(學習成果):
學習成果的ㄧ個外部評量(ㄧ學期的計畫和ㄧ學期的測試的等級)，被用去評量在參加討論版上全部的效率(成效)。學期計畫最後的等級和期末測試的分數會和以下幾點相關:(1)學生造訪討論版的總數,(2)學生造訪討論版的全部天數,(3)在討論版上發表資訊的總數。

Results:
Overview:
在學習HTML和測試期間共發表了260筆資訊，ㄧ個話題所延續的期望值(mean)是3.5個訊息(SD=2.3,range=1-11 messages)，字數的平均是48.3個字(SD=46.2,range1-263 words)。主題行有適當的距離(M=1.68,SD=0.9;scale range 0-3)，訊息的程度是相當好的(M=2.3,SD=0.9,scale range 0-4)，每個最原始的訊息平均被閱讀的次數是29.5次(SD=11.3;range 2-77)，ㄧ個訊息被回應的平均時間是3630分中或是2.5天(SD=7377分鐘,range 1-49,109 分鐘)。

從內容來看，訊息不是互相有關係就是適用於課程(n=223,86%)，大部分訊息最主要的目的是去發問(n=63,24%)或是提供答案(n=175,73%)，在這個討論版上很少用於非學術的目的(n=15,6%)。

Social learning:
ㄧ個討論串有包含五個或以上的資訊的比例為26/55或是47%；ㄧ個原始訊息被閱讀的次數的期望值為29.5(SD=11.3)範圍為2-77次；ㄧ個給其他學生的特殊的回應是以問題或是回答的形式，佔了全部訊息的66%(n=172)；最後，學生加入同ㄧ個討論串兩次或以上的機率，在HTML是13/28(46%)，在演練的討論串中的比率是10/35(29%)。

Cognitive processing:
根據Bloom's分類學校訂版的內容，主要的知識的形式有三方面來驗證，(1)程序的(n=140,57%),伴隨著(2)概念的(n=51,21%),(3)真實性的(n=50,21%)，更深層的認知的知識只佔3/244；至於進展的等級，有以下幾種:(1)懂大部分資訊的學生(n=85,35%)，然後(2)記住的人(n=66,27%)，(3)可以應用的人(n=52,22%)，(4)可分析的人(n=31,13%)，(5)有能力評估的人(n=10,4%)。其中具創造性的用法的知識只觀察到一個。

Quality of discussion:
大部分的資訊都是非常清楚的(n=174,67%)，或是有一點清楚(n=70,27%)，只有16的訊息是完全不清楚的(6%)；這些訊息的程度是好或是非常好的佔了41%，普通的佔了47%，不好的或是不正確的資訊佔了12%；新的訊息被加入的方式不是間接的(n=69,27%)就是直接的(n=103,40%)在大部分訊息被發佈的時候。

資訊的內容在各方面的比例，只著重在物質而已(n=145,56%)或是跟課程有直接相關係(n=78,30%)，沒學術性的(n=24,9%)和管理的議題(n=6.2%)，被討論的很少，我覺得這幾項可以用我們的評論上，跟就輔資訊相關，只有一點相關，或是沒有相關。最後，討論串有被解決或是和原來的主題有相關的佔71%(n=100)。

Initial quastion:
討論串對一開始的問題的影響的評估，在於有沒有著重在兩個不獨立的變數上(1.訊息被閱讀的次數,2.討論的長度)用以支持以下五個獨立的變數(1.問題能否隨時隨地輕易的回答,2.主題清楚,3.訊息的程度,4.知識的類別,5.進展的等級)；Ten one-way ANOVAs 表現出來沒有有意義的差別，換句話說，這邊沒有明顯的層級出現在一開始的問題上可引起學生去閱讀或是發表更多問題。

Role of educator:
針對這件事，老師所採取的態度是允許給學生依個機會去建造屬於他們自己的知識，因此，並不意外的是，在一個討論串開始之後，有95%(n=50)的學生會開始發問題，大部分學生結束討論是因為時間(n=49,89%)。

總之，這裡沒有依個有意義的差別在老師和學生之間，然後是關於(1)訊息被閱讀的數目，(2)訊息的長度，(3)回應時間(ㄧ則訊息多快得到回應)。

Navigation:
瀏覽的議題的檢視主要是著重在清楚的主題和一個討論串的多寡是否影響(1)有多少資訊被閱讀(被閱讀的速率),(2)ㄧ則資訊多快可以收到回覆(回應時間)，清楚的主題和這兩樣並沒有有意義的關聯，資訊的數目就和訊息平均被閱讀的次數有關，且為負相關(r=-o.26,p<0.001)；在這邊顯示出，ㄧ個訊息被閱讀的平均次數會穩定的降低，從初始的訊息(m=39.18)到訊息數量11個的時候(m=14.5)可看出來，訊息的數目和學生會多快去回復資訊是沒有關係的(回覆時間)。 n="35,54%)，特定關心的事包含接下來的幾項:(1)很難發現特定的內容，因為有太多的資訊,(2)在協商討論資訊時會被按太多次,(3)討論板逐漸對訊息無力，因為學生的程度越來越好,(4)對於主題必須有更好的分配和分類才能減少瀏覽的時間。" color="#009900">Challenges for students:
除了瀏覽的困難以外，ㄧ些學生會有科技或是軟體方面的問題(n=16/65,25%)，他們那種片面的資訊的程度令人很難去相信(n=14/65,22%)，用成績去刺激參加會讓他們感到羞怯(n=7/65,11%)。

學生回報不使用討論板多種原因包含使用其他的方法(使用課本，用網路查詢，問朋友)這些方法更快更有用(n=25/65,38%)，不同的學習方式(n=8/65,12%)，缺乏能力(n=8/65,12%)，忘了發布(n=5/65,8%)，沒有足夠的時間(n=4/65,6%)。

Types of users:
在動態的參加中可觀察到個別差異(那些學生發表了五個或五個以上的資訊)被觀察到關於資訊平均被閱讀的數量(p<0.001)，平均回應的時間(p<0.001)，使用的字數(p<0.001)，訊息的程度(p<0.001)，學生對於他們回覆訊息數目的範圍從1~17的意見是不ㄧ的，他們對於主題的意思清不清楚，他們發的問題的困難程度，知識的形式和進展的層級是意見不ㄧ的。 n="8/65,12%)回應他們沒有經常的加入討論板，是因為不符合他們自己學習的方式，ㄧ些學生比較喜歡使用書本-另ㄧ些人的喜好是在網路上找答案或是問其他同學，有一個同學對這個議題發表了他的看法:" color="#33cc00">Attitudes towards discussion:
在這篇文件中，用來測量態度，是根據有沒有意識到討論板是有用的，在發文章任務的調查中，超過三分之ㄧ的同學認為討論板是一個有用的工具(n=24/65,37%)，在實際使用方面，38%的人經常使用，25%的人偶爾使用，還有25%的人不太用，有三分之二(65%)的學生回應他們有得到有用的資訊，三分之ㄧ(39%)的人認為他們提供了有幫助的資訊給其他人，有82%的人認為分數不是他們使用討論板的動機。

Response time:
ㄧ個訊息有回應的平均時間是3630分鐘或是2.5天(SD=7338分鐘)，有ㄧ天就回的學生，也有34天才回的學生，把特異的(回應的時間超過10000分鐘或是一星期，n=22個訊息)淘汰掉之後，回應的平均時間變成1519分鐘或是一天(SD=2204分鐘)，回應的時間在第三個資訊之後似乎有變的比較長，從1182(19.2小時)到1853分鐘(31小時)在第四個資訊的時候，然而樣本太小以至於無法去評量統計上真正的意義。

回應的時間和資訊被閱讀的數目有有意義的相關且為負相關(r=-0.254,p<0.01)，換句話說，當回應越長，新的訊息就越不會被閱讀。 color="#009900">Learning outside of school:
發表在討論板上的訊息有超過一半(n=142,55%)是在學校完成的，在學校和在家中的訊息在(1)主題清楚，(2)訊息的程度，(3)回應的時間和字數，這三方面並沒有有意義的差別；然而，在家中發表的訊息比在學校更難得到解答(p<0.05)。 color="#009900">Performance and discussion board participation:
學習的成果在HTML還有開始訓練的主題跟(1)參訪的數目，(2)參訪的天數，(3)在每個部份發表的訊息數正相關，參訪HTML討論板的數目和最後期末的分數沒有有意義的關係。

造成的原因是由發文章任務的調查，幾乎三分之二的學生回應使用討論板是有意義的學習概念。
___________________________________________________________________

我覺得此篇paper的分類值得我來使用學習，根據他的觀點然後和我的評估測試的測量表比較之後我覺得有很多地方可以改進，也知道所顯示出來的數據該怎麼去分析，對我來說有很大的助益，我特別把有用的資訊標成橙色，以供日後研究。