Muitas mais actividades de aprendizagem são possibilitadas pela tecnologia e isso complica ainda mais o design instrucional - isto é, determinar como, quando, onde, e por que as actividades de aprendizagem específicas promover uma melhor compreensão. As lições aprendidas em gerações anteriores de tecnologia educacional deve ser levado em conta. Por exemplo, simplesmente colocando tecnologias sofisticadas num ambiente de aprendizagem não é provável que seja eficiente ou eficaz.
Estudos anteriores têm-se centrado sobre os efeitos de uma tecnologia específica sobre as atitudes, motivação e testes de conhecimento simples. Tais estudos perpetuar um debate equivocado sobre a eficácia educacional dos meios de comunicação (Clark, 1994; Kozma, 1994). O que deve ser estudado é o impacto sobre a aprendizagem em termos de melhorias nos processos de inquérito de estudantes e outros aspectos de ordem superior de aprendizagem, directamente relevantes para a compreensão do assunto desafiador e complexo (Lowyck et al, 2003;. Spector & Anderson, 2000).
Para demonstrar que as abordagens pedagógicas específicas e tecnologias educacionais são eficazes na melhoria das competências de resolução de problemas complexos, uma metodologia para determinar os resultados de aprendizagem de ordem superior apropriados para tais problemas é necessário. Foi demonstrada uma prova piloto de tal metodologia e discutida em 2000 Internacional Dynamics sistema de conferência em Bergen, Noruega (Christensen, Spector, Sioutine, e McCormack, 2000). Uma metodologia semelhante desenvolvido na Alemanha tem se mostrado promissora (Seel, Al-Diban, & Blumschein, 2000).
As conclusões gerais de um estudo de 1 ano National Science Foundation (NSF) que envolvem esta metodologia de avaliação de modelagem são discutidas a seguir. O projeto NSF intitulada '' A Metodologia profundo para avaliação da aprendizagem em domínios complexos '' (ver Spector & Koszalka de 2004 para resultados detalhados, apenas resumos d