星期一, 4月 30, 2007

近期工作事項

學習如何評估
研讀:Developing a comprehensive metric for assessing discussion board effectiveness
目的:學習如何以嚴謹有系統的方法,著手分析我們的 Nonprofit 2.0 效益
研讀:當代公共政策研究中的量化與質化分析:方法論的檢討與重建1
目的:說明與反省我們的研究方法
工作紀錄的整理
為之後的報告和論文作準備

星期五, 4月 20, 2007

如何使用離線部落格






































使用完之後就會像前一篇那樣,非常方便,不過瀏覽器要是Firefox才能使用。

第一次用離線方式打部落格

哈...不錯的工具,應該對就輔員會是一個很大的幫手,good。



Powered by ScribeFire.

星期二, 4月 17, 2007

Developing a comprehensive metric for assessing discussion board effectiveness論文實驗的方法和結果

文章出處:http://faculty.uoit.ca/kay/pub/papers/bjet_560.pdf

method:
sample(樣本):
是由45個中學的學生加入,地點是在大都市中的ㄧ個中學,參加者皆是男生,年齡介於13~15歲,被分成兩個班級,ㄧ班22人,ㄧ班23人。

procedure(程序):
在這裡面,學生會被要求要貢獻訊息在兩個連續且非同步的線上討論中,為了要補充在學習HTML(24 days)然後開始演練(36 days)。線上討論為固定的面對面的行程中的ㄧ部分,每天見面時間90分鐘,佔總成績的10%,而且為了鼓勵參加,裡面沒有特殊的指導方式。在此討論版中主要是學生導向,老師只有在學生有無法解決的問題時才會介入,在每個主題完成時,都會要求他們加入考察,而主題開始和主題結束的問題都會包括在考察中。

Data collection and analysis(資料的取得和分析):
在以前的資料中提到有三個關鍵的部份要去收集,以便於分析,包含了(1)解釋線上討論版的資訊,(2)分析那些用統計學收集累積起來的數據,要如何實際應用,(3)在每個主題的最後面要有態度分類的研究,最後,為了要讓結果正確且確實,必須有兩個或多個的變數去評估。在此篇中所謂的變數即是之前提及的十二種方面,提供在Appendix A中。

Coding of online discussion messages(辨別線上討論版的資訊):
為了讓辨識更透明化,Appendix B提供ㄧ個可深入探討的成規,在這份學習中給關鍵的變數使用。

Blackboard statistics(Blackboard 統計學):
[BlackBoard系統是國外市場佔有率極高的網路教學平台]:自己查找的,非文章內容
Blackboard程式會自動的用統計的方式收集以下這些資訊:(1)訊息發布的時間,(2)其他人閱讀文章所需花費的時間,(3)學生造訪討論版的次數,(4)學生造訪的天數,(5)學生po在討論版上的文章數目。

Survey data(研究資料):
在每次學生完成一個方向的主題之後,有兩個關鍵的問題會被問到:
1.你有使用討論版嗎?請解釋為什麼要用或為什麼不用。
2.討論版對你來說有用處嗎?請解釋為什麼有用或為什麼沒用。

這些回應用來描述和分類以下兩個問題:(1)參加或不參加的原因(2)討論版為何會被認為有用或是沒有用。每個種類的次數(頻率)在往後都會ㄧㄧ探討。

Learning performance(學習成果):
學習成果的ㄧ個外部評量(ㄧ學期的計畫和ㄧ學期的測試的等級),被用去評量在參加討論版上全部的效率(成效)。學期計畫最後的等級和期末測試的分數會和以下幾點相關:(1)學生造訪討論版的總數,(2)學生造訪討論版的全部天數,(3)在討論版上發表資訊的總數。

Results:
Overview:
在學習HTML和測試期間共發表了260筆資訊,ㄧ個話題所延續的期望值(mean)是3.5個訊息(SD=2.3,range=1-11 messages),字數的平均是48.3個字(SD=46.2,range1-263 words)。主題行有適當的距離(M=1.68,SD=0.9;scale range 0-3),訊息的程度是相當好的(M=2.3,SD=0.9,scale range 0-4),每個最原始的訊息平均被閱讀的次數是29.5次(SD=11.3;range 2-77),ㄧ個訊息被回應的平均時間是3630分中或是2.5天(SD=7377分鐘,range 1-49,109 分鐘)。

從內容來看,訊息不是互相有關係就是適用於課程(n=223,86%),大部分訊息最主要的目的是去發問(n=63,24%)或是提供答案(n=175,73%),在這個討論版上很少用於非學術的目的(n=15,6%)。

Social learning:
ㄧ個討論串有包含五個或以上的資訊的比例為26/55或是47%;ㄧ個原始訊息被閱讀的次數的期望值為29.5(SD=11.3)範圍為2-77次;ㄧ個給其他學生的特殊的回應是以問題或是回答的形式,佔了全部訊息的66%(n=172);最後,學生加入同ㄧ個討論串兩次或以上的機率,在HTML是13/28(46%),在演練的討論串中的比率是10/35(29%)。

Cognitive processing:
根據Bloom's分類學校訂版的內容,主要的知識的形式有三方面來驗證,(1)程序的(n=140,57%),伴隨著(2)概念的(n=51,21%),(3)真實性的(n=50,21%),更深層的認知的知識只佔3/244;至於進展的等級,有以下幾種:(1)懂大部分資訊的學生(n=85,35%),然後(2)記住的人(n=66,27%),(3)可以應用的人(n=52,22%),(4)可分析的人(n=31,13%),(5)有能力評估的人(n=10,4%)。其中具創造性的用法的知識只觀察到一個。

Quality of discussion:
大部分的資訊都是非常清楚的(n=174,67%),或是有一點清楚(n=70,27%),只有16的訊息是完全不清楚的(6%);這些訊息的程度是好或是非常好的佔了41%,普通的佔了47%,不好的或是不正確的資訊佔了12%;新的訊息被加入的方式不是間接的(n=69,27%)就是直接的(n=103,40%)在大部分訊息被發佈的時候。

資訊的內容在各方面的比例,只著重在物質而已(n=145,56%)或是跟課程有直接相關係(n=78,30%),沒學術性的(n=24,9%)和管理的議題(n=6.2%),被討論的很少,我覺得這幾項可以用我們的評論上,跟就輔資訊相關,只有一點相關,或是沒有相關。最後,討論串有被解決或是和原來的主題有相關的佔71%(n=100)。

Initial quastion:
討論串對一開始的問題的影響的評估,在於有沒有著重在兩個不獨立的變數上(1.訊息被閱讀的次數,2.討論的長度)用以支持以下五個獨立的變數(1.問題能否隨時隨地輕易的回答,2.主題清楚,3.訊息的程度,4.知識的類別,5.進展的等級);Ten one-way ANOVAs 表現出來沒有有意義的差別,換句話說,這邊沒有明顯的層級出現在一開始的問題上可引起學生去閱讀或是發表更多問題。

Role of educator:
針對這件事,老師所採取的態度是允許給學生依個機會去建造屬於他們自己的知識,因此,並不意外的是,在一個討論串開始之後,有95%(n=50)的學生會開始發問題,大部分學生結束討論是因為時間(n=49,89%)。

總之,這裡沒有依個有意義的差別在老師和學生之間,然後是關於(1)訊息被閱讀的數目,(2)訊息的長度,(3)回應時間(ㄧ則訊息多快得到回應)。

Navigation:
瀏覽的議題的檢視主要是著重在清楚的主題和一個討論串的多寡是否影響(1)有多少資訊被閱讀(被閱讀的速率),(2)ㄧ則資訊多快可以收到回覆(回應時間),清楚的主題和這兩樣並沒有有意義的關聯,資訊的數目就和訊息平均被閱讀的次數有關,且為負相關(r=-o.26,p<0.001);在這邊顯示出,ㄧ個訊息被閱讀的平均次數會穩定的降低,從初始的訊息(m=39.18)到訊息數量11個的時候(m=14.5)可看出來,訊息的數目和學生會多快去回復資訊是沒有關係的(回覆時間)。 n="35,54%),特定關心的事包含接下來的幾項:(1)很難發現特定的內容,因為有太多的資訊,(2)在協商討論資訊時會被按太多次,(3)討論板逐漸對訊息無力,因為學生的程度越來越好,(4)對於主題必須有更好的分配和分類才能減少瀏覽的時間。" color="#009900">Challenges for students:
除了瀏覽的困難以外,ㄧ些學生會有科技或是軟體方面的問題(n=16/65,25%),他們那種片面的資訊的程度令人很難去相信(n=14/65,22%),用成績去刺激參加會讓他們感到羞怯(n=7/65,11%)。

學生回報不使用討論板多種原因包含使用其他的方法(使用課本,用網路查詢,問朋友)這些方法更快更有用(n=25/65,38%),不同的學習方式(n=8/65,12%),缺乏能力(n=8/65,12%),忘了發布(n=5/65,8%),沒有足夠的時間(n=4/65,6%)。

Types of users:
在動態的參加中可觀察到個別差異(那些學生發表了五個或五個以上的資訊)被觀察到關於資訊平均被閱讀的數量(p<0.001),平均回應的時間(p<0.001),使用的字數(p<0.001),訊息的程度(p<0.001),學生對於他們回覆訊息數目的範圍從1~17的意見是不ㄧ的,他們對於主題的意思清不清楚,他們發的問題的困難程度,知識的形式和進展的層級是意見不ㄧ的。 n="8/65,12%)回應他們沒有經常的加入討論板,是因為不符合他們自己學習的方式,ㄧ些學生比較喜歡使用書本-另ㄧ些人的喜好是在網路上找答案或是問其他同學,有一個同學對這個議題發表了他的看法:" color="#33cc00">Attitudes towards discussion:
在這篇文件中,用來測量態度,是根據有沒有意識到討論板是有用的,在發文章任務的調查中,超過三分之ㄧ的同學認為討論板是一個有用的工具(n=24/65,37%),在實際使用方面,38%的人經常使用,25%的人偶爾使用,還有25%的人不太用,有三分之二(65%)的學生回應他們有得到有用的資訊,三分之ㄧ(39%)的人認為他們提供了有幫助的資訊給其他人,有82%的人認為分數不是他們使用討論板的動機。

Response time:
ㄧ個訊息有回應的平均時間是3630分鐘或是2.5天(SD=7338分鐘),有ㄧ天就回的學生,也有34天才回的學生,把特異的(回應的時間超過10000分鐘或是一星期,n=22個訊息)淘汰掉之後,回應的平均時間變成1519分鐘或是一天(SD=2204分鐘),回應的時間在第三個資訊之後似乎有變的比較長,從1182(19.2小時)到1853分鐘(31小時)在第四個資訊的時候,然而樣本太小以至於無法去評量統計上真正的意義。

回應的時間和資訊被閱讀的數目有有意義的相關且為負相關(r=-0.254,p<0.01),換句話說,當回應越長,新的訊息就越不會被閱讀。 color="#009900">Learning outside of school:
發表在討論板上的訊息有超過一半(n=142,55%)是在學校完成的,在學校和在家中的訊息在(1)主題清楚,(2)訊息的程度,(3)回應的時間和字數,這三方面並沒有有意義的差別;然而,在家中發表的訊息比在學校更難得到解答(p<0.05)。 color="#009900">Performance and discussion board participation:
學習的成果在HTML還有開始訓練的主題跟(1)參訪的數目,(2)參訪的天數,(3)在每個部份發表的訊息數正相關,參訪HTML討論板的數目和最後期末的分數沒有有意義的關係。

造成的原因是由發文章任務的調查,幾乎三分之二的學生回應使用討論板是有意義的學習概念。
___________________________________________________________________

我覺得此篇paper的分類值得我來使用學習,根據他的觀點然後和我的評估測試的測量表比較之後我覺得有很多地方可以改進,也知道所顯示出來的數據該怎麼去分析,對我來說有很大的助益,我特別把有用的資訊標成橙色,以供日後研究。

星期一, 4月 16, 2007

Developing a comprehensive metric for assessing discussion board effectiveness論文摘要

文章出處:http://faculty.uoit.ca/kay/pub/papers/bjet_560.pdf

在本篇論文裡面,主要是在探討線上討論版對於教學有無助益。他提到在以前的研究中,大部分都是針對某幾個方面去探討,沒有全面性的去探究到底適不適用,因此,他在此篇論文中,集合了之前相關的研究,從這些研究中,他發現了十二種需要探討的問題,分別是
1.社會學習(social learning),
文中有提到,真實的社會上的互動造成認知上的成長並且可以解決在討論版上的問題這是很罕見的,另外,有意義的社會互動對知識的產生是有效的。

2.認知程序(cognitive processing),
在認知的程序上通常會提及修訂過的Bloom's Taxonomy,它著眼在知識和討論區資訊在程序上的程度,在修訂過的Bloom's Taxonomy中強調在實際應用上的計畫,傳遞和評估,著重在更廣的聽眾,和對次類別的明顯的描述。

3.討論的水準(quality of discussion),
建議學生必須知道要怎麼避免不了解知識;資訊不是很容易去了解;互動造成更多具爭議性的議題,沒有特別的和具體的答案。

4.在一個思考中最初的問題(the initial quastion in a thread),
先前的研究中建議,如果依開始的問題和這個討論版思緒的程度相符就會ㄧ直有互動。有益於學生產生更特別的東西,促進更高一層的想法。

5.教育者扮演的角色(role of educator),
教育者在線上討論板上所扮演的角色得到很大的關注。而且教育者扮演線上討論版會不會成功的ㄧ個很重要的角色。

6.瀏覽的議題(navigation issues),
在傳統的討論版上,學生和老師發現要去瀏覽的時候會有很多問題,譬如:訊息長度,入口的數目不明確的題目,欠缺組織和重點。有研究更指出傳統的討論形式對於知識建造並不充分。

7.學生面臨的挑戰(challengs for students),
學生意識到他們沒能力加入線上討論;寫作比聊天還要慢;缺乏個人互動;沒能力改變見解在他們寫下文字和發表時;大部分的觀察都是在高等教育,並無法清楚得知在低年級的學生上所觀察到的會不會是依樣的關係。

8.使用者的形式(types of users),
ㄧ些證據顯示,學生認為有意義的和清楚的角色像加入討論版;一些被限制寫作或是口頭能力的學生有明顯的損害。沒有依個有系統的研究,去研究在討論版上個體間的差異。

9.態度有助於線上討論(attitude towards online discussion),
大部分使用線上討論的學生態度都是正面的,但是結論只被有趣的事來佐證。另外,當學生被命令之後就會勉強作一點,這時候可能的態度是負面的但是有助於學習。

10.回應的時間(response time),
關鍵再於在直接貼文章或是回覆訊息時一定會有延遲產生。

11.校外學習(learning outside of school),
在以前的研究中沒有明確的著重在比較在家中發文章時間和在學校發文章的時間。

12.學習成果(learning performance)
很多研究者試著去探討,參加線上討論和知識的建造和個人認知有無相關聯。其中有一種是測試,參與反映和實際學習上的關聯。最後他說,持續的去測試參與和學習機板上的關係是很重要的。

這是此位作者,他在參考許多研究之後所提出的看法,在根據這些看法做研究和改善

星期四, 4月 12, 2007

關於最近要做的事

hi,老師,我下禮拜一以前會把那篇關於網路評量的論文看完,那也會閱讀A Smart Home Agent for Plan Recognition of Cognitively-impaired Patients.不過這一篇要依兩個禮拜才念的完,再下次報告前應該可以ㄧ起把Designing and Modeling Smart Environments這篇看完。

最近要先加入Methodology and Evaluation of Teaching Computer Programming Laboratory with Social Media這篇論文,其他的順延,還有Teachers attitudes toward information and communicationtechnologies: the case of Syrian EFL teachers這一篇。