terça-feira, 31 de outubro de 2017

Digital assessment




Stacey Newbern Dammann, EdD, and Josh DeSantis



For many professors, student assessment is one of the most labor-intensive components of teaching a class. Items must be prepared, rubrics created, and instructions written. The work continues as the tests are scored, papers read, and comments shared. Performing authentic and meaningful student assessment takes time. Consequently, some professors construct relatively few assessments for their courses.
Unfortunately, this practice limits professors’ ability to reliably assess student learning. If a course grade is a mosaic, then each assessment is a tile. A mosaic with just a few tiles only presents a part of the picture. Professors can improve the quality of their assessment mosaic by increasing the number of performances they assess. These smaller and more frequently administered snapshots of student learning are frequently termed formative assessments. The integration of frequent formative assessments improves the validity of course assessment and has been demonstrated to have a variety of benefits, including improving student achievement and helping students develop more agency over their own learning (Nicol & Macfarlane-Dick, 2006). By providing more numerous and authentic measurements of student thinking, professors can improve the fidelity of their assessment mosaic and the reliability of their assessments of student learning.
The proliferation of mobile devices and the adoption of learning applications in higher education simplifies formative assessment. Professors can, for example, quickly create a multi-modal performance that requires students to write, draw, read, and watch video within the same assessment. Other tools allow for automatic grade responses, question-embedded documents, and video-based discussion. In addition to simplifying formative assessment, the use of these tools has been shown to amplify student engagement (Hwang & Chang, 2011).
Emerging tools and approaches open new opportunities for professors to gather more frequent and more authentic formative assessment data. This, in turn, can help students learn the course material and can help professors to tailor their instruction to meet the needs of their students.
Formative Assessment Tools to Consider
There are hundreds of formative assessment tools available. Many, however, perform similar functions. You can narrow your search by considering what approach would work best in your teaching context then identifying a tool you can integrate into your practice. If you are a novice, start small and aim for a win. Choose a course for which you would like to improve the quality of your assessment then select one technology tool to get started with.  
  • Multi-Modal Assessments – Several applications allow professors to create multiple-choice and open-ended items that are distributed digitally and assessed automatically. Student responses can be viewed instantaneously and downloaded to a spreadsheet for later use. Examples of these tools include Socrative (socrative.com) and Poll Everywhere (www.pollev.com). Some tools in this category have unique capabilities. Formative (www.goformative.com) allows professors to upload charts or graphic organizers that students can draw on with a stylus. Formative also allows professors to upload document “worksheets” which can then be augmented with multiple-choice and open-ended questions. Nearpod (www.nearpod.com) allows professors to upload their digital presentations and create digital quizzes to accompany them. Nearpod also allows professors to share three-dimensional field trips and models to help communicate ideas.
  • Video-Based Assessments – Question-embedded videos are an outstanding way to improve student engagement in blended or flipped instructional contexts. Professors may upload their own videos and screen-capture files, or use pre-existing streaming video from YouTube. Once uploaded, videos may be embedded with multiple-choice or short answer items. Using these tools allows professors to identify if the videos they use or create are being viewed by students. EdPuzzle (edpuzzle.com) and Playposit (www.playposit.com) are two leaders in this application category. A second type of video-based assessment allows professors to sustain discussion-board like conversation with brief videos. Flipgrid (www.flipgrid.com), for example, allows professors to posit a video question to which students may respond with their own video responses.
  • Quizzing Assessments – Finally, tools that utilize close-ended questions that provide a quick check of student understanding are also available. Quizizz (quizizz.com) and Kahoot (www.kahoot.com) are relatively quick and convenient to use as a wrap up to instruction or a review of concepts taught. Quizizz works on any device with a browser and features specific apps for iOS and Chrome. Kahoot also has specific apps for iOS, Android, and Windows devices. Kahoot now features a team function and the ability to adjust the time limit for questions. Themes, memes, and avatars are available to choose so professors need only focus on the content of the assessment. Ten to 20 questions are easily administered in both tools; although longer assessments tend to lessen student engagement. Both multiple choice and true/false question format work well with either tool. These provide a fast-paced formative assessment that can address fact-based knowledge as well as higher order thinking.
Considerations
It is important to ensure that your integration of technology is aligned to sound formative assessment design. Formative assessment is most valuable when it addresses student understanding, progress toward competencies or standards, and indicates concepts that need further attention for mastery. Additionally, formative assessment provides the instructor with valuable information on gaps in their students’ learning which can imply instructional changes or additional coverage of key concepts. The use of tech tools can make the creation, administration, and grading of formative assessment more efficient and can enhance reliability of assessments when used consistently in the classroom. Selecting one that effectively addresses your assessment needs and enhances your teaching style is critical. Moreover, it is important that you determine if the tools you select are compliant with your institution’s accessibility and student privacy policies.
Summary
Using tech tools to support assessment can enhance the assessment mosaic of nearly every course. These tech-enhanced formative assessments produce actionable data that can help students learn more efficiently (Yorke, 2003). The design and function of the applications introduced in this article provide a starting point to enhancing your course assessment. The wide array of tech tools available allow professors to select one that match teaching styles and assessment needs. The promise of real-time assessment information and the convenience of collecting data digitally make emerging technologies a great place to advance your teaching practice.
References
Hwang, G. J., & Chang, H. F. (2011). A formative assessment-based mobile learning approach to improving the learning attitudes and achievements of students. Computers & Education, 56(4), 1023-1031.
Nicol, D. J., & Macfarlane‐Dick, D. (2006). Formative assessment and self‐regulated learning: A model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199-218.
Yorke, M. (2003). Formative assessment in higher education: Moves towards theory and the enhancement of pedagogic practice. Higher education45(4), 477-501.
Stacey Newbern Dammann, associate professor and chair, Department of Education, York College of Pennsylvania. Josh DeSantis, assistant professor of education, director of Masters of Education Program, York College of Pennsylvania.

terça-feira, 24 de outubro de 2017

Educational games


 

5 ways educational games improve learning, according to teachers

By Laura Ascione

A new study cites impressive learning gains and increased classroom engagement when educational games are incorporated into existing instruction.

 

 


When teachers used digital educational games in the classroom, students raised test scores by more than half a letter grade in only three weeks, according to a study from researchers at Vanderbilt University and partners at Legends of Learning, a research-driven educational game platform.

The new research, published by the Journal of the Learning Sciences, demonstrates the benefits of game-based learning for students when compared to students who had no access to such games.

Substantial Integration of Typical Educational Games into Extended Curricula” involved more than 1,000 students of 13 teachers in 10 diverse urban, suburban and rural schools in seven states.
 
The educators integrated a standards-aligned set of 55 typical educational games into their curricula. Each teacher taught at least one class with the games and one class without.

The research found students in the classes with the games outperformed their peers on essay and multiple choice questions.

Special education students involved in the study authored lengthier responses to open-ended questions, displayed greater confidence in the subject matter after playing the games, and achieved more than a whole standard deviation difference.

After the study established that educational games must engage students and must product meaningful and substantial learning outcomes, it also revealed that teachers cited five specific outcomes achieved by using the educational games:
 
1. Deeper content games supported in-depth learning, developing investigative, critical thinking, and problem solving skills
2. The subset of quiz-style games reinforced lessons and helped review material
3. Different types of game play simulated interest and engagement, particularly in students prone to being off-task
4. Games prompted student-led discussions, collaboration, and the sharing of knowledge
5. Simple and complex games increased confidence and content mastery

Teachers said they would like to use the educational games for more than 30 percent of their classroom time, citing the way the games supplemented and strengthened existing curricula. Two-thirds of teachers said the educational games made traditional instruction more effective.

The study also found:
  • Increased engagement: Teachers reported dramatic increases in engagement among students who learned with the games.
  • Enthusiastic teachers: Ninety-two percent of teachers who used the education games said they would like to use similar games again because of the impact on student performance and engagement.
  • Improved attention spans: Teachers said students who normally were off-task became more focused on their learning.

“The results highlight the potential of digital games for enhancing instruction, particularly in light of the teachers strongly positive experiences and interest in continuing to use games like these in the future,” said researcher and co-author Douglas Clark, professor, Vanderbilt University’s College of Education and Human Development. “This study is important because it is based on data collected with a large set of games used by teachers in extended curricula across multiple school districts.”


domingo, 22 de outubro de 2017

Liderança



Lideranças que possam transformar o Brasil


 Isaac Roitman






A humanidade está em retrocesso. Presenciamos um interminável circo de horrores – atentados, assassinatos, imigrações, guerras, crianças morrendo por desnutrição e outras mazelas do nosso discutível mundo civilizado.

No Brasil convivemos com uma escandalosa injustiça social e uma corrupção explícita onde até a vergonha foi jogada pelo ralo. Vivenciamos uma crise de valores morais e uma escassez de líderes dispostos a superar esse momento trágico.

É preciso destacar e exaltar a importância vital do surgimento de lideranças autênticas e genuínas para a construção de um novo tempo, que nos faça sair da senda da desgraça a que hoje nos submetemos.


Líderes fictícios

Nossos líderes, na sua maioria, não estão à altura para superarmos as crises que vivemos. Focados nos interesses pessoais ou de grupos, não titubeiam diante das repercussões inadequadas de suas ações. Uma pergunta então emerge: O poder corrompe?

O poder é, ou deveria ser, um instrumento para o bem comum. 

Assim as pessoas investidas no poder devem ser honestas e de caráter firme para não se deixarem corromper, nem promoverem a corrupção. A corrupção e a desonestidade não rondam apenas os escalões mais elevados do poder.

Na atual conjuntura brasileira o cidadão se vê desprotegido, violentado e lesado nos seus direitos, ameaçado por quem o deveria proteger. O mau exemplo das autoridades é corrosivo e induz à corrupção.


Na busca das lideranças

A liderança é um talento que precisa ser identificado e desenvolvido. Howard Gardner define talento “por um arranjo complexo de aptidões ou inteligências, habilidades instruídas e conhecimento, disposições de atitudes de motivações que predispõem um indivíduo a sucessos em uma ocupação, vocação, profissão, arte ou negócio”.

Segundo a Organização Mundial de Saúde, cerca de 4% das crianças e jovens apresentam altas habilidades gerais ou específicas. No Brasil não é fácil a identificação de crianças e jovens com talento de liderança pois a educação brasileira é feita com um tratamento homogêneo dos estudantes, sem reconhecer a diversidade entre eles.

Em adição, as políticas para a identificação e desenvolvimento de talentos no Brasil são incipientes. Especialistas no campo da educação de talentos apontam que a identificação precoce do talento é importante.

De maneira geral as escolas não dispõem de recursos e não têm um corpo docente adequadamente preparado para prover os desafios acadêmicos, sociais e emocionais para proporcionar o desenvolvimento das lideranças.

Quatro dimensões são consideradas importantes para aferir o potencial de liderança: o autodesenvolvimento, a habilidade no relacionamento interpessoal, a visão sistêmica e senso crítico e a responsabilidade. Essas características se manifestam e podem ser percebidas nos primeiros anos de vida e devem ser desenvolvidas no ambiente escolar.

A tendência da aprendizagem ser baseada na discussão de temas e resolução de problemas pode ser considerada como um cenário adequado para o exercício do pensar e da crítica argumentativa. Uma correta visão de um mundo civilizado e o estímulo ao conhecimento geral seriam pré-requisitos para a formação de nossos futuros líderes.

Um ambiente de total liberdade de diálogo e de expressão de pensamentos é absolutamente fundamental para o estímulo na formação de lideranças. Romper com a falsa verdade de que alguém é o dono das verdades e diminuir a importância de seu próprio “eu” também deve fazer parte de um ambiente para a formação de novas lideranças que nos conduzam a um novo Brasil sem desigualdades sociais, em que todos os brasileiros e brasileiras possam realizar os seus sonhos.

sábado, 21 de outubro de 2017

Diagnosis



Blog "Raciocínio Clínico" entrevista Mark Graber


Leandro Diehl



Reduzir os erros diagnósticos em Medicina: esta parece ser a cruzada pessoal do primeiro entrevistado internacional da nossa seção “Grandes Nomes do Raciocínio Clínico”, Dr. Mark Graber.

O Dr. Graber é considerado o “pai” dos esforços mundiais para combater os erros diagnósticos em Medicina. Em 2008, ele deu início à série de congressos sobre Erro Diagnóstico em Medicina (Diagnostic Error in Medicine Conferences), evento que ocorre anualmente desde então nos Estados Unidos.

Mark Graber é médico formado pela Stanford University, e fez treinamento (fellowship) em Nefrologia na Boston University. Foi chefe do setor de Medicina do Centro Médico do sistema Veteran Affairs (VA Medical Center) em Northport, New York. Foi o criador da primeira Semana de Conscientização sobre Segurança dos Pacientes (Patient Safety Awareness Week) em 2002, um evento hoje reconhecido em inúmeros hospitais ao redor do mundo.

Em 2011, o Dr. Graber fundou a Sociedade para Aperfeiçoar o Diagnóstico em Medicina (Society to Improve Diagnosis in Medicine – SIDM), da qual ele hoje é presidente. A missão da SIDM é encorajar pesquisas, promover educação e aumentar a conscientização sobre o problema dos erros diagnósticos, entre todos os grupos e organizações com interesse na segurança do paciente.



Em 2014, juntamente com o Dr. Mario Plebani, Mark Graber criou a revista “Diagnosis, primeiro periódico científico a explorar especificamente o processo diagnóstico em Medicina e saúde. Ele é coeditor da revista, juntamente com o Dr. Plebani.

Ele é autor de inúmeras publicações sobre erros diagnósticos, incluindo um dos primeiros estudos científicos a examinar casos de erros para determinar suas causas, que foram em sua maioria cognitivas ou relacionadas ao sistema. (Já falamos sobre esse artigo, de 2005, no nosso post anterior sobre Erros Diagnósticos).

Como presidente da SIDM, o Dr. Graber conseguiu juntar esforços com o Institute of Medicine (IOM) para conduzir um grande estudo sobre o problema dos erros diagnósticos. O relatório resultante  desse trabalho, intitulado “Aperfeiçoando o Diagnóstico na Saúde” (“Improving Diagnosis in Health Care”), atualmente é a compilação definitiva de tudo o que se conhece sobre o problema. O relatório faz 8 recomendações principais sobre o que deve ser feito para reduzir o risco de danos aos pacientes decorrentes de erros diagnósticos. (Clique aqui para acessar o relatório na íntegra.)

Pelos seus esforços para melhorar a segurança dos pacientes e especificamente para reduzir o risco de erros diagnósticos em Medicina, o Dr. Mark Graber recebeu em 2014 o prêmio John M. Eisenberg do National Quality Forum e The Joint Comission, em reconhecimento às suas extensas realizações na área.

Contatamos o Dr. Mark Graber por email, e ele gentilmente concordou em responder a algumas perguntas para o nosso blog sobre erros diagnósticos, raciocínio clínico e educação médica.


RACIOCÍNIO CLÍNICO: Prezado Dr. Mark Graber: sobre a Sociedade para Aperfeiçoar o Diagnóstico em Medicina (Society to Improve Diagnosis in Medicine – SIDM), da qual você foi um dos fundadores: quando ela foi estabelecida? Quantos membros estão participando ativamente neste momento?

 
 
 

DR. MARK GRABER: Eu fundei a Sociedade em 2011 como uma organização sem fins lucrativos, focada na redução dos erros diagnósticos. Eu já tinha dado início, 3 anos antes, à série de congressos sobre Erro Diagnóstico em Medicina (Diagnostic Error in Medicine Conferences), mas nós sentimos que apenas um evento uma vez por ano seria pouco para tentar combater esse problema, exigindo um esforço mais contínuo. Atualmente, nós temos 250 membros ativos, mais de mil participantes na nossa lista de discussão por email, e mais de 3 mil pessoas já participaram dos nossos congressos.


RACIOCÍNIO CLÍNICO: Quais são os principais objetivos da Sociedade para Aperfeiçoar o Diagnóstico em Medicina (SIDM)? Que atividades a Sociedade desenvolve agora?

DR. MARK GRABER: Nossa visão é a de um mundo em que nenhum paciente seja prejudicado por erros diagnósticos. Nós acreditamos que o diagnóstico precisa ser rápido, acurado, eficiente e seguro.




Até agora, nós já tivemos duas grandes histórias de sucesso:
– Nós conseguimos convencer o Instituto de Medicina dos Estados Unidos (US Institute of Medicine – IOM), atualmente conhecido como Academia Nacional de Medicina (National Academy of Medicine), a conduzir e publicar um grande relatório sobre o erro diagnóstico. Esse relatório, o Improving Diagnosis in Health Care, já teve mais de 20.000 downloads;
– Nós conseguimos congregar, e agora lideramos, a Coalizão para Melhorar o Diagnóstico (Coalition to Improve Diagnosis), um grupo de mais de 35 grandes organizações e associações profissionais, cada uma delas dedicada a ações individuais e coletivas para combater os erros diagnósticos.

Também temos outros projetos interessantes, e comitês muito ativos. Nosso Comitê de Educação criou um repositório de recursos para educadores (toolkit for educators), e agora está trabalhando com a Fundação Macy (Macy Foundation) para criar um currículo baseado em diagnóstico e em erro diagnóstico. Nosso Comitê de Pesquisa patrocina um encontro científico anual. Nosso Comitê de Envolvimento do Paciente criou um material de orientação para pacientes (toolkit for patients). Nosso Comitê de Melhoramento da Prática está trabalhando na produção de guidelines: um para avaliar e manejar achados incidentais em exames, e outro sobre como otimizar a consulta médica.

“Nossa visão é a de um mundo em que nenhum paciente seja prejudicado por erros diagnósticos.”


RACIOCÍNIO CLÍNICO: Com base na sua experiência e nas evidências disponíveis, quais são as intervenções mais úteis e mais custo-efetivas para reduzir o risco de erros diagnósticos na prática médica?

DR. MARK GRABER: Há muito pouca evidência sobre quais intervenções funcionam, ou funcionam melhor. Esse é um trabalho que está apenas no início. Mas, baseado no nosso entendimento atual do problema, posso dizer que há ações que cada um dos principais interessados no assunto pode começar a desenvolver para começar a enfrentar esse problema:

Médicos: Não devem confiar demais na sua intuição; o ideal é praticar de maneira reflexiva. Eles devem fazer com que seus pacientes se tornem parceiros no processo diagnóstico. Eles devem usar recursos de suporte à tomada de decisões para melhorar o diagnóstico diferencial, e usar segundas opiniões a seu favor. Também devem rastrear todos os exames e consultas solicitados, e checar se todos os resultados dessas avaliações foram vistos e analisados adequadamente.

Organizações de Saúde: Devem criar um clima de segurança e de discussão aberta e franca. Devem encontrar os erros diagnósticos nos seus sistemas e aprender a partir deles. Devem oferecer registros eletrônicos, incluindo ferramentas de apoio à tomada de decisões. Também devem facilitar a obtenção de segunda opinião.


RACIOCÍNIO CLÍNICO: Qual é o papel dos pacientes nessa questão da segurança do diagnóstico?

DR. MARK GRABER: Eles precisam funcionar como sua própria rede de segurança, para ajudar a prevenir danos provenientes de erros diagnósticos.

Pacientes devem ser participantes ativos do processo diagnóstico. O ideal é que todos os pacientes sempre guardem bem seus próprios registros (de exames, consultas etc.), e sempre perguntem ao médico: “O que mais pode ser?” Devem realizar os exames para rastreamento de câncer. Além disso, precisam solicitar aos seus médicos orientações sobre o que eles devem fazer caso seus sintomas não melhorem ou eles não tenham uma resposta adequada ao tratamento.


RACIOCÍNIO CLÍNICO: Há alguma relação entre a SIDM e as instituições de Educação Médica (faculdades, hospitais de ensino) para tentar melhorar o currículo médico, de maneira a abordar apropriadamente o raciocínio clínico e os erros diagnósticos durante a formação médica? O que você acha de um currículo baseado no raciocínio clínico e na tomada de decisões?

DR. MARK GRABER: A SIDM tem muitos membros que são educadores médicos ativos, ou membros de instituições acadêmicas. Nosso Comitê de Educação tem muitos projetos para melhorar o ensino médico, tanto de graduação como de pós-graduação, com relação ao raciocínio clínico e à segurança diagnóstica. Inclusive, temos um projeto em andamento, juntamente com a Fundação Macy, para criar um currículo interprofissional, baseado em consenso, para melhorar o diagnóstico. Esse currículo deverá enfatizar o raciocínio clínico e discutir os muitos erros (cognitivos ou relacionados ao sistema) que contribuem para a ocorrência de erros diagnósticos e prejuízos para os pacientes. O currículo deverá estar completo em 2018, e será testado nacionalmente, nas escolas médicas dos Estados Unidos, em 2019.

“Os pacientes devem ser participantes ativos do processo diagnóstico.”
 

RACIOCÍNIO CLÍNICO: Você acha que está na hora da SIDM se internacionalizar? Como nós, no Brasil, podemos ajudar a SIDM a atingir seus objetivos?  E, finalmente, o que você acha de um congresso internacional sobre Erros Diagnósticos aqui na América do Sul?

DR. MARK GRABER: Nós ficamos muito felizes de saber do interesse do Brasil em melhorar os diagnósticos, e no seu interesse em receber nossa ajuda e participação. Além do nosso congresso anual nos Estados Unidos, nós também já patrocinamos e ajudamos a organizar congressos internacionais na Europa (Rotterdam, 2016), na Austrália (Melbourne, 2017), e, no ano que vem, outra vez na Europa (Berna, 2018).

Se houver uma equipe no Brasil interessada em sediar um congresso e uma instituição acadêmica que queira atuar como parceira, certamente será possível realizar um congresso como esse no Brasil. Essa seria uma oportunidade fantástica para estimular o interesse e motivar ações para enfrentamento dos erros diagnósticos no Brasil e em toda a América do Sul.