ISO/IEC JTC1 SC36 WG8 (Learning Analytics Interoperability) 회의 (327 B) | |
---|---|
10:00am - 10:45am | ISO/IEC 20748-3 Guideline for (learning) data interoperability 논의
ISO/IEC 20748 프로젝트는 학습 분석 상호운용성과 관련된 구성 요소들을 규명하고 정규화하는 표준이다. 최근 학습 분석은 교육 도메인에서 분석 서비스를 주도하는 다양한 데이터에 주목하고 있다. 그러나 현재 학습 분석 기술은 기술의 생명주기 상에서 형성 단계(초기 수준)에 머물러있기 때문에 다양한 형태의 학습 활동 데이터를 활용하기 위해서는 가이드라인 개발이 필요하다. 특히 초기 수준의 학습 분석 기술 수준에서는 교육기관들이 다양한 학습 플랫폼과 소프트웨어로부터 데이터를 수집하기 위한 규격을 도입하는 것이 쉽지 않다. 이러한 이슈를 해결하기 위해 ADL, IMS Global, W3C와 같은 표준화 단체들은 데이터 수집 API 규격들을 개발하고 있다. 이러한 규격들이 각자의 프로파일 환경에서 데이터를 수집하는 데는 유용하겠지만 정작 서비스를 제공하는 교육기관들은 서로 다른 프로파일 또는 학습 시스템이나 도구에서 생성되는 비표준화된 데이터를 해석하는 데 어려움을 겪게 될 것이다. 이 프로젝트의 주요 범위는 이질적인 시스템과 도구에서 생성된 서로 다른 형식의 데이터들을 구조적(구문적)으로 매핑하고 의미적으로도 매칭할 수 있는 가능한 방법들을 가이드라인으로 개발하는 것이다. 매핑과 매칭의 목표를 이루기 위해 이 프로젝트는 JTC1/SC36 이해관계자들로부터 유즈케이스를 수집하고 있다. 이번 회의에 참석하는 전문가들은 주로 xAPI와 IMS Caliper 간 융합에 대해 수집된 유즈케이스를 논의할 예정이다. |
10:45am - 11:30am | ISO/IEC 20748-4 Privacy and data protection 논의
ISO/IEC 20748 프로젝트는 학습 분석 상호운용성과 관련된 구성 요소들을 규명하고 정규화하는 표준이다. 프라이버시와 데이터 보호는 학습 분석을 구성하는 하위 프로세스 전반에 영향을 미치는 중요한 요구사항으로 정의된 바 있다. 프라이버시와 데이터 보호가 법으로 규제되는 주제이기는 하지만, 학습 분석 시스템을 설계하고 운영하기 위한 원칙을 수립하는 차원에서 제도와는 별개의 관련 개체를 정의하는 노력이 필요하다. 이 프로젝트의 주요 범위는 다양한 교육 환경, 이를 테면 학교, 대학, 기업, 혼합학습환경 등에서 학습 분석 시스템 설계나 학습 분석을 도입할 때 참고할 수 있는 프라이버시 및 데이터 보호 요구사항을 정의하는 것이다. 이 프로젝트는 학습 분석 시스템과 도입에 신뢰성을 더해주기 위한 구체적인 특성들을 설계하는데 토대가 되는 공개된 데이터 보호 제도와 프라이버시 보호 원칙들을 개략적으로 요약할 것이다. |
11:30am - 12:00pm | 의사록 채택 및 회의 종료 |
(1일차) 9월 19일 (월) | |
---|---|
1:00pm - 2:00pm | 참석자 등록 |
2:00pm - 2:30pm | 개회 및 인사말 – 한석수 원장 (KERIS) LASI-ASIA 2016에 대한 설명 및 오리엔테이션 사회 조용상 박사 (KERIS) |
2:30pm | 세션 1: LACE SIG/SoLAR 아시아 투어 (327 B+C) 좌장: Mr. Tore Hoel |
2:30pm - 3:00pm | 기조강연 I: 학습 분석 기술의 현황 – 학교, 대학, 기업의 이해관게자 커뮤니티를 구축한 3년간의 경험
Prof. Dai Griffiths (University of Bolton) Learning Analytics Community Exchange (LACE)는 유럽연합 (EU)의 제7차 프레임워크 프로그램의 지원을 받은 연구 프로젝트이며, 2016년 7월 종료되었다. (LACE는 현재 Society for Learning Analytics Research (SOLAR) 산하의 ‘Learning Analytics Community Europe’으로 명명된 특별관심그룹(SIG: Special Interest Group)으로서 2단계에 진입했다.) LACE 파트너들은 학습 분석으로 인한 기회들을 확신하기는 하지만, 동시에 전문성과 경험이 효과적으로 공유되지 못해서 학습 분석의 잠재성이 구체화되지 못하는 것에 대한 우려도 가지고 있다. LACE는 지난 3년간 학습 분석 커뮤니티와 함께 학습 분석을 효과적으로 적용하고 초•중등학교, 대학, 기업에 확산시키는 방안에 대해 연구해왔다. 연구를 진행하면서 여러 차례 워크숍, 세미나, 컨퍼런스가 개최하였고, 다수의 논문과 보고서도 발간하였다. LACE 프로젝트는 또한 연구 참여자들과 초청 전문가들을 통해 학습 분석 관련 추진 현황에 대한 다수의 블로그 포스팅도 공개하였다. 이 프로젝트의 중요한 성과 중 하나는 LACE Evidence Hub인데, 이 것은 전세계적으로 학습 분석의 효과에 대한 실증자료를 함께 공유하는 곳이다. Evidence Hub는 학습 분석의 효과를 지원하고 평가하는 차원에서 학습 분석과 관련된 이론, 연구, 구현사례들을 기록하고 조직한다. 학습 분석과 관련된 정책 결정을 위해 정보를 제공하는 검색 인터페이스는 Evidence Hub의 가치를 보여준다. 정책 연계성을 높이기 위해 LACE는 미래 비전 연구를 통해 학습 분석의 바람직한 미래를 연구한 바 있으며, 이 과정에서 초청 전문가들로부터 피드백을 얻기도 했고 학습 분석의 가능성과 바람직한 모습을 그려볼 수 있었다. 전반적인 LACE 활동들, 그 중에서 미래 비전 연구는 커뮤니티가 학습 분석의 잠재력에 열광하는 모습을 보여주지만, 그렇다고 그러한 결과들이 실현될 것이라고 전적으로 확신하는 것도 아니다. 특히 프라이버시, 인프라에 대한 통제, 교육 관점에서 학습 분석의 효과 등과 같은 우려도 제기되었다. 이 기조강연에서 Dai Griffiths 교수는 LACE 프로젝트의 성과를 요약한다. 그리고 이 프로젝트를 통해 식별한 향후 핵심 쟁점이 될 것으로 보이는 주요 이슈와 우려사항들도 논의한다. 이를 통해 연사는 효과적인 도입에 저해 요인이 되는 학습 분석을 지나치게 간단하게 바라보는 관점(긍정적인 면과 부정적인 면)에 초점을 맞출 것이다. 끝으로 LACE 커뮤니티가 이를 어떻게 극복할 수 있을 지와 앞으로 해야 할 일들에 대해 논의할 것이다. |
3:00pm - 3:20pm | 학습 분석 솔루션의 확장: 프라이버시 보호는 주목할 만한가?
Tore Hoel (Oslo and Akershus University College of Applied Sciences) 프라이버시와 데이터 보호는 학습 분석이 연구 단계에서 솔루션 단계로 발전할 때 고려되어야 할 주요한 장애 요인이 되고 있다. 교육에서 기술을 활용하면서 새롭게 계획되었든 기존에 사용되던 데이터이든 상관없이 학습자에 대해 수집하는 데이터 발생량이 급증하고 있다. 이러한 현상은 관리자, 교사, 학생 간의 관계에서도 잠재적인 시사점을 갖는데, 이 것은 지금까지 충분히 검토되거나 논의되지 않았던 주제이다. 더욱이 뚜렷한 목적 없이 학생의 데이터를 수집하는 것은 Nuremberg 재판 (1945-46) 이후 지금까지 정립되어 온 윤리와 사용자 동의에 관한 교육 분야의 연구와도 동떨어진 것이다. LACE는 이러한 이슈들에 대해 연구해왔으며, 주요점을 요약한 보고서를 온라인으로 발간하였다. (보고서 링크: http://www.laceproject.eu/learning-analytics-review/is-privacy-a-show-stopper/) 이 보고서에는 교육기관의 데이터 프라이버시에 대한 정책, 제기된 이슈들을 체계적으로 다루기 위해 LACE가 개발한 체크리스트가 포함되어 있다. 이 강연에서 Tore Hoel은 이 분야에서 LACE가 발견한 점들을 개략적으로 소개하고, 학습 분석을 활용하는 사람과 연구자들이 고려할 점과 향후 다루어져야 할 아젠다들에 대해 설명한다. |
3:20pm - 4:00pm | 미래의 비전: 학습 분석을 위한 지향점
Dr. Rebecca Ferguson and the LACE team 향후 10년안에 학습 분석의 중요성이 더 커질 것이라는 점에는 전반적으로 동의하는 것 같다. 그러나 정책 결정자들을 위해 학습 분석 개발을 주도하는 기술자, 교육가, 교사들이 제공하는 가이드는 부족한 편이다. LACE 프로젝트는 정책 과정에 반영될 필요가 있는 관점들을 제공하기 위해 미래 비전 연구를 수행하였다. 이 연구는 정책 델파이 형식을 택했고, 미래에 대한 우려라기 보다는 곧 교육 분야의 주류가 될 것으로 보이는 트렌드 이슈에 대한 이해를 돕는데 초점을 맞추었다. 프로젝트 파트너들은 2025년까지 학습 분석의 미래에 대한 8가지 비전을 개발하였다. 이 비전들은 온라인 질의서를 통해 LACE와 초청 전문가들과 함께 공유되었으며, 이해관계자들의 조언도 여러 이벤트들을 통해 반영되었다. 응답자들은 비전들을 실현가능성, 타당성, 평가를 위해 필요해 조치 등의 관점에서 평가했다. 133명의 응답자들로부터 비전들에 대해 487개의 응답을 받았다. 미래가 어떻게 변화될 것인지에 대해 응답자들은 흥미롭거나 재미있을 것이라는 시각을 가지고 있었다. 더 흥미로운 점은 응답자들의 평가 점수와 서술형 응답 분석 결과 전문가들과 현장의 실무자들은 학습 분석의 미래를 그리는 아주 많은 부면에서 컨센서스가 이루어져 있음을 보여준다는 것이다.
전체 연구 결과가 담긴 보고서는 이 곳(http://www.laceproject.eu/deliverables/d3-2-visions-of-the-future-2/) 에서 다운받을 수 있다. 이 세션에서는 LACE가 연구한 비전을 소개하고, 결론을 토의한다. 또한 청중들은 아시아 지역의 학습 분석의 미래를 그리기 위해 즉석으로 타당성과 실현 가능성을 매핑하는 일에 참여하게 될 것이다. |
4:00pm | Coffee break |
4:30pm - 5:00pm | 패널 토론 : 학습 분석 연구를 위한 국제적 커뮤니티를 어떻게 구축할 것인가? Society for Learning Analytics Research(SoLAR)가 출범한지 5년째가 되었고, 지금까지 국제 연구 커뮤니티는 국제 컨퍼런스, 국제 저널, 단기 교육 프로그램, 분산된 연구소, 데이터 세트 공유 등을 통해 계속 성장하고 있다. 학습 분석 분야의 영향력 있는 패널들에게 제시된 질문은 다음과 같다.
패널: Prof. Dai Griffiths, Dr. Rebecca Ferguson, Prof. Kirsty Kitto, Dr. Yushun Li, 조용상 박사 좌장: Mr. Tore Hoel |
5:00pm | 세션 2: 학습 분석 참조 모델 공개 (327 B+C) 좌장: 조용상 박사 |
5:00pm - 5:30pm | 학습 분석을 위한 참조 모델 및 학습 분석 프로세스 구성 방안 소개
이재호 교수 (서울시립대) 학습 환경에서 생성되는 데이터 양이 급증하는 현상은 학습 분석을 통해 새롭고 다양한 방법으로 교육을 지원하는 면에서 새로운 기회를 제공한다. 학습 분석은 다양한 하위 기술들의 활용, 워크플로우, 실행 방법 등으로 구성된 복합 개념이며, 굉장히 넓은 범위의 서로 다른 목적에도 적용될 수 있다. 예를 들어, 학습 분석은 다양한 유형 및 상호 연관된 데이터를 수집하고, 탐색하고, 분석할 수 있는데, 이 때 활용되는 데이터 중에는 학습자의 디지털 자원 사용과 관련된 상호작용 데이터, 교수학습 활동 로그, 학습 성과 등이 있으며, 그 밖에도 프로그램, 교육과정과 관련된 역량과 같은 구조화된 데이터도 대상이 된다. 학습 분석은 다양한 이해관계자 그룹을 표현하고 폭넓은 애플리케이션을 포함하는 신기술이다. 학습 분석은 또한 데이터 공유, 프라이버시, 데이터에 대한 신뢰와 통제, 서비스 품질 등과 같은 새로운 상호운용성 이슈를 야기하고 있다. 이러한 배경으로 인해 국제 표준화 기구인 ISO/IEC JTC1 SC36은 ‘ISO/IEC 20748 Learning analytics interoperability (LAI) 프로젝트 추진을 승인하였다. 특히 이 표준의 첫 번째 파트는 학습 분석 참조모델인데, “ISO/IEC 20748-1은 학습 분석 상호운용성에 대한 다양한 시스템 요구사항을 식별하는 참조모델을 구체화한다. 참조모델은 관련 용어, 사용자 요구사항, 워크플로우, 학습 분석 서비스 또는 시스템을 위한 참조 아키텍처를 정의한다.”는 범위 선언문을 담고 있다. 이 세션에서는 프로젝트 리더인 이재호 교수가 세계 각국의 이해관계자들이 제공한 15개의 유즈케이스가 포함된 ISO/IEC 20748-1 LAI – Part 1: Reference model 표준을 소개한다. 또한 학습 분석 서비스를 위한 구체적인 프로세스와 기능들에 대한 청중들의 이해를 돕는다. |
5:30pm - 6:00pm | 프라이버시와 데이터 보호: 우려와 효과
Mr. Tore Hoel (Oslo Akershus University College of applied sciences) 프라이버시와 데이터 보호는 학교와 대학을 위한 학습 분석 솔루션을 확산하는데 주요 장애 요인이 되고 있다. ISO/IEC 20748 표준의 첫 번째 파트는 프라이버시 정책을 모든 프로세스에 영향을 미치는 공통 요소로 정의하고 있다. ISO/IEC 20748 Learning analytics interoperability 프로젝트에서 ‘프라이버시 및 데이터 보호’ 부분을 분할한 목적은 학습 분석을 위한 구제적인 프라이버시 정책 및 데이터 보호 특성을 정의하기 위한 것이다. 학습 분석 시스템 또는 서비스에 적용되는 데이터 보호 제도(규제)는 국가별로 다르다. 학습 분석을 대규모로 확산시키기 위해 시장에서 학습 분석 솔루션에 대한 신뢰를 쌓을 수 있는 구체적인 프라이버시와 데이터 보호 특성을 정의하는 것이 필요하며, 교육 분야의 빅데이터 활용을 위한 데이터 보호에도 기여할 수 있다. 이 발표에서는 학습 분석을 위한 프라이버시 프레임워크에 대한 아이디어를 논의한다. 또한 리드 에디터인 Mr. Tore Hoel은 프라이버시와 데이터 보호와 관련된 이슈와 우려들을 제기한다. |
6:00pm | 환영 리셉션 및 네트워킹 |
(2일차) 9월 20일 (화) | ||
---|---|---|
9:30am - 10:00am | 참석자 등록 | |
10:00am - 11:00am | 기조강연 II: 21세기 핵심 역량을 위한 학습 분석의 기대
기조강연 동영상: https://youtu.be/6Pl3hPRwO-o Prof. Simon Buckingham Shum (University of Technology Sydney) 혼란스럽고 불확실성이 높은 복잡한 세상 속에서도 학생들이 지식, 스킬, 자질을 잘 갖추도록 교육 시스템은 교육과 평가 활동에서 서서히 변화하고 있다. 단순한 인지 작업은 자동화되고 우리가 직면하는 문제는 점점 복잡해짐으로써 사람의 구분되는 자질은 현재 기업에서 가장 중요한 부분이다. 이러한 영향으로 인해 “21세기 역량’과 관련된 많은 용어들이 사용되고 있다. 학습 분석은 학습자의 행동을 트래킹하는 것, 교육 데이터를 관리하는 것, 패턴을 시각화 하는 것, 교육자와 학습자에게 빠른 피드백을 제공하는 면에서 다른 유형의 컴퓨팅 연산을 지원한다. 이 기조강연에서는 의미 있는 방법으로 21세기 역량을 정량화하는데 분명히 도전이 되는 것과 개발되어야 할 것들에 대한 서로 다른 접근법의 예를 소개한다. |
|
11:00am - 12:00pm | 기조강연 III: 차세대 디지털 학습 환경을 위한 시스템 구축 방안
prof. Charles Severance (University of Michigan) 학습관리시스템 개념이 소개된 지도 거의 20년이 지났다. 대부분의 경우, 최근 학습관리시스템은 단순하게 대학에서 처음 개발되어 잘 관리되는 학습 시스템이나 Blackboard, WebCT, Angel과 같은 기업들을 통해 상용화된 시스템을 말한다. 초기 LMS는 하나의 조직에서 개발하거나 하나의 애플리케이션으로 개발되었기 때문에 하나의 애플리케이션에 기능을 계속 추가하는 것은 자연스러운 현상이었다. 각 벤더들은 그들의 LMS에 Building Blocks이나 PowerLinks와 같은 독점적인 확장 포인트를 추가하였다. 여러 LMS에 하나의 확장 포인트를 추가하는 개념은 2004년 Sakai 프로젝트에 의해 처음 소개되었다. 이후 여러 해에 걸쳐 그 아이디어가 발전되어 2010년 IMS 학습 도구 상호운용성 (Learning Tools Interoperability, LTI) 표준으로 발간되었다. LTI는 전체 LMS 시장에서 기본적인 확장 포인트를 제공한다. LTI가 LMS로 통합된 다수의 애플리케이션으로 비약적인 발전이 있기는 하지만 LTI 초기 버전의 단순함으로 인해 자연스러운 통합이라고 하기에는 제한적인 면이 있다. 이 기조강연에서는 단일 플러그인 통합에서 여러 벤더들이 참여하는 (LMS도 하나의 구성 요소인) 개방형 생태계로 변화하는 데 기초가 된 지난 6년 간의 표준 활동들을 돌아본다. 많은 사람들이 차세대 디지털 학습 환경(Next Generation Digital Learning Environment, NGDLE)으로써 교육용 소프트웨어를 위한 새롭고 보편적인 구조와 상호운용 될 수 있는 시장을 요구하고 있다. 이 강연을 통해 개방형 학습 생태계를 실현하기 위해 지금까지 수행된 일들과 앞으로 남은 일들에 대한 개략적인 점들을 살펴볼 것이다. |
|
12:00pm | Lunch break | |
1:30 pm | 세션 1 (327 B) | 세션 2 (327 C) |
1:30pm - 3:30pm | Data API 세계 좌장: 조용상 박사 | 학습 분석 모델 및 프로파일 좌장: 조일현 교수 |
Boot camp: Data API 사용 – xAPI 와 IMS Caliper
Dr. Kirsty Kitto and Dr. Stephen Vickers Advanced Distributed Learning (ADL)과 IMS Global Learning Consortium은 효과적으로 학습 데이터를 활용할 수 있도록 데이터 수집 체계 표준인 Experience API (xAPI)와 IMS Caliper를 개발하였다. World Wide Web Consortium (W3C)도 커뮤니케이션이나 활동 로그, 또는 다른 애플리케이션과의 잠재적인 액션에 대한 기록 등과 같은 활동과 관련된 정보를 자연어로 기술하거나 시각적으로 표현하기 위한 Activity Streams 규격을 업데이트 하였다. 공개된 세 가지 표준은 특별한 목적이나 도메인에 따라 프로파일 형태로 수정해서 사용할 수도 있다. 그러나 다양한 프로파일이 생성될 경우 이해관계자들은 시스템 또는 학습 도구 공급자에 의해 정의된 비표준 데이터 포맷 또는 서로 다른 표준을 따르는 프로파일 간 데이터 상호운용성을 고려해야 한다. 데이터 API를 처음 접하거나 비교적 생소한 참석자들에게 제공되는 기본 교육인 부트 캠프 참가자들은 관련 표준 개발 커뮤니티의 전문가로부터 Data APIs(xAPI와 IMS Caliper)에 대한 개념과 기초지식을 얻게 될 것이다. Case study: 글로벌 학습 분석 제품 및 서비스 사례 소개 [Case 1] VitalSource Title: 콘텐츠 활용 데이터 분석에 대한 VitalSource의 접근 Mr. William Chesser (VitalSource) VitalSource 플랫폼은 교수자와 (경우에 따라서는) 콘텐츠 소유자에게 사용자 참여 데이터에 대한 손실 없이 최상의 콘텐츠 인터액션을 제공한다. VitalSource는 학생의 성공적인 학습 활동을 보장하기 위해 조기 진단 및 처방에 활용 할 수 있는 데이터를 제공하기 위해 미국을 비롯한 글로벌 표준화 기구와 적극적으로 협력하고 있다. 이 세션에서는 대시보드, 표준 기반의 데이터 수집체계, IMS Caliper를 적용하여 학습 참여 정도 등 VitalSource가 데이터를 관리하고 전달하는 방법에 대해 소개한다. [Case 2] University of Michigan Title: 분산 학습 환경을 위한 데이터 분석 인프라 구축 Mr. Lance Sloan (Univ. of Michigan) 여러 해 동안 University of Michigan의 연구진은 학습 분석 표준 개발 커뮤니티에 참여해 왔다. 최근에는 학습 분석을 지원하는 인프라를 구현하고 있다. 이벤트 표현(학생들의 온라인 코스 자원과의 상호작용)을 위해 (IMS Global의) Caliper를 채택했으며, 이벤트를 발생시킬 수 있을 것 같은 여러 애플리케이션들도 선정하였다. PHP 기반의 강의 비디오 플레이어인 Lecture Capture (U-M)가 프로토타입으로 선택되었다. Lecture Capture에 Caliper 표준을 적용하는 동안 IMS Global의 표준 그룹에서 Caliper PHP 코드 개발이 시작되었다. Lecture Capture는 시험과 엔드 포인트(역자주: 생성된 데이터가 모이는 곳)의 적합성 검증을 위해 이벤트를 생성하기도 하였다. 학습 기록 저장소(Learning Record Store, LRS) 애플리케이션를 이벤트를 수집하는 엔드 포인트로서 평가하였으며, (Apereo Foundation의) OpenLRS를 엔드 포인트로 채택하였다. OpenLRS에 Caliper를 적용하기 위한 개발하면서 Lecture Capture 서비스 주체는 엔드 포인트에서 발생하는 문제를 보고하였다. 문제 해결을 위해 프록시 엔드 포인트를 캐싱하는 Viadutoo 개발 필요성을 느끼게 되었고, Viadutoo를 Lecture Capture와 통합하였다. Viadutoo는 엔드 포인트가 작동하지 않을 때는 직접 이벤트를 저장함으로써 인프라에 견고함을 더해주었다. 다른 컴포넌트들과 함께 제품 개발이 완료되었으며, 인프라가 작동하기 시작했다. 인프라가 운영되기 시작한 첫 번째 달에 수백 건의 이벤트가 수집되었으며, 인프라의 가용성을 점검하기 위해 모니터링하고 있다. 다른 애플리케이션인 Problem Roulette (U-M)도 인프라 환경 속에 포함되었으며, 이를 통해 이벤트 수집율을 높이고 있다. 연구진들은 인프라 환경을 유지하면서 기능 확대도 추진하고 있고, OpenLRS의 이벤트 질의 형태도 개선하고 있다. 연구진과 교수진은 이벤트 데이터 분석을 준비하고 있으며, 결과는 학생들에게 온라인 코스 자원과 인터액션한 결과를 시각화된 형태로 제시하게 된다. [Case 3] UC Berkeley Title: 학습 분석: 파일럿 프로그램 Dr. Paul Kerschen (UC Berkeley) UC Berkeley는 제한된 학생을 대상으로 파일럿 학습 분석 프로젝트를 진행하고 있다. 이 프로젝트는 상호운용성 표준, 프라이버시와 투명성 이슈, 효과적인 프레젠테이션 등 세 가지 영역의 문제를 다룬다. 이 프로젝트의 학습 기록 저장소(Learning Records Store, LRS)는 Experience API (xAPI)와 IMS Caliper 표준 모두를 지원하며, 그 밖에 Instructure의 Canvas라는 학습관리시스템(LMS)에서 제공하는 독자적인 이벤트 포맷을 수용하기 위해 추가적인 전송 레이어를 사용한다. 이러한 표준들은 다양할 뿐만 아니라 계속 변화하기 때문에 상호운용성을 유지하기 위해서는 상당한 주의가 요구된다. 그리고 교수자와 학생의 프라이버시 문제는 데이터 수집에 있어서 매우 높은 수준의 표준과 투명성을 요구한다. UC Berkely는 수집된 학습 데이터의 특성에 대한 설명과 데이터가 입력되고 제어되는 방법이 포함된 학생들을 위한 프라이버시 대시보드를 개발하였다. 이 프로젝트는 학생들의 참여와 성공적인 학습을 위해 효과적인 시각화 방법인 대시보드를 디자인하고 있으며, 이 작업에는 학생들이 함께 참여하고 있다. |
A-D-D-I-E 모델, 학습 분석과 학습 설계를 위한 재발견
조일현 교수 (이화여자대학교, LAPA Lab) 이 세션에서는 전통적인 선험적 교수 설계와 새로운 애드혹 학습 설계 간 개념을 비교한 연구를 소개한다. 일반적으로 선형 ADDIE 모델로 대표되는 선험적 설계는 실제 구현에 앞서 분석, 설계, 코스 개발을 강조한다. 새로운 시대에는 무형식 학습의 필요와 풍부한 교육용 디지털 콘텐츠가 제공될 것이므로 변화된 학습 상황에서의 맥락에서 학습을 지원할 수 있는 애드혹 학습 설계가 필요하다. 평가를 목적으로 일반화되고 있는 학습 분석은 애드혹 학습 설계를 위한 필수적인 도구로 확장되어야 한다. A-D-D-I-E의 각 단계 간 동시에 진행되거나 상호작용하는 나선형 ADDIE는 학습 분석을 반영한 대표적인 학습 설계 모델이 되어야 한다. 이 연구는 두 개의 ADDIE 모델, 선형과 나선형 모델을 미사일 메타포로 구분하였다. 이 세션에서는 분석을 기반으로 앞으로의 연구 방향에 대한 시사점을 토의할 것이다. 박연정 교수 (호남대학교, LAPA Lab) 혼합 학습(Blended learning, BL)은 오늘날 고등 교육의 주요 트렌드 중 하나로 인식되고 있다. 혼합 학습을 실제로 적용하는 방법을 확인하기 위해, 이 연구는 학습관리시스템(LMS)인 무들의 활용 수준과 사용 패턴을 평가하는 것을 목표로 한다. 한국의 한 대형 사립 대학교에 개설된 2,639개 코스로부터 발생한 온라인 활동 정보를 포함한 대규모 데이터 세트를 분석했다. 반복된 데이터 전처리와 마이닝을 통해 612개 과정을 분석하여 네 개의 고유한 유형으로 클러스터를 생성했다. 이 세션에서 청중들은 클러스터된 코스의 특성을 함께 검토하고 데이터 기반 의사결정을 바탕으로 한 혼합 학습을 위해 교육기관의 전략 수립을 위한 시사점에 대해 토의한다. 신체에서 발생한 로그 데이터 분석: 학습분석과 정신생리학의 만남 유지현 (이화여자대학교, LAPA Lab) 학습 분석은 컴퓨터 과학, 교육 데이터 마이닝, 정보 시각화, 학습 과학 등 다양한 분야의 지식, 기술 도구들을 활용하는 하이브리드 학문이면서 기능적인 분야이다. LAPA 연구 프로젝트의 연구진은 학습 분석에 정신생리학(psychophysiology) 분야를 접목시키면 효과가 매우 커질 수 있다는 점을 발견했다. 지금까지 만들어진 가장 완벽하고 복잡하면서 이해하기 힘든 시스템인 인체를 다루기 때문에 심리적 과정에 따라 생리학적 측면을 다루는 심리학의 한 분야인 정신생리학은 난해한 분야이다. 이 발표는 전통적인 학습자 로그 데이터에 더해 안구 추적, 심박동수, 얼굴 표정을 포함한 정신생리학적 방법을 채택하여 학습 분석을 더욱 강력하게 향상시키기 위한 LAPA 연구실의 연구 성과를 공유한다. WISEflow(Nordic) 사례: 학습 분석 및 지능형 학습 평가 서비스의 통합 CEO Rasmus Blok (UNIwise Aps) & 박정호 대표 (Leo) (UNIwise Korea / DUCOgen Ltd.) & 이은지 (이화여자대학교, LAPA Lab) 오프라인 교육기관이 수행하는 평가 방식을 바꾸면서 덴마크의 하이테크 기업인 UNIwise는 진정한 온라인 대규모 평가 플랫폼(Online Massive Assessment Platform, OMAP)인 WISEFlow를 개발하였다. 이 솔루션은 온라인 평가를 위한 새로운 글로벌 표준을 제안하고 MOOC의 시험 및 평가 방식으로 자리잡게 될 것으로 기대된다. 최근 WISEFlow를 하이엔드 서비스로 입증하고 학습 분석 기능을 적용하기 위한 업그레이드를 위해 한국의 에듀테인먼트 기업인 DUCOgen과 LAPA 연구소는 국제적 R&D 협력을 추진 중이다. 이 협력 연구 프로젝트는 학생과 교사의 학습 성과를 개선하고 교육기관의 비용 절감 효과를 목표로 하고 있다. 이 세션은 앞으로의 흥미 진진한 도전과 여정에 대한 로드맵을 소개한다. |
|
3:30pm | 휴식 및 다과 (세션 종료) (327 B+C) | |
4:00pm | 정리 기조강연: 학습 분석 생태계 구축 방향
기조강연 동영상: https://youtu.be/jDv3PldKAaI Dr. Rob Abel (IMS Global) 학습 분석 분야에서 유즈케이스, 처방, 데이터 표준, 투자에 대한 성공적인 회수 등 다양한 부면들이 발전하고 있다. 그러나 많은 제품들과 성장중인 제품들은 새로운 활동을 지원하기 위해 함께 협업하도록 설계되어 있다고 할 수 있는가? 이 기조강연의 목표는 교육 분야의 혁신과 변화를 위해 분석 데이터를 생성하기 위한 “디자인된” 제품 생태계의 잠재성을 논의하는 것이다. 기대하는 바는 적용할만하고 영향력 있는 학습 분석을 위한 프레임워크를 제시하기 위해 분석 표준인 Caliper와 Experience API가 일으킨 모멘텀을 국제 학습 기술 커뮤니티가 함께 협력하여 발전시키는 것이다. |
|
5:00pm | 패널 토론: 학습 분석 연구 성과와 그 다음 단계
우리가 LASI-Asia 컨퍼런스에서 알게 된 것처럼 세계적으로 학습 분석과 관련된 많은 활동과 결과가 있었다. 선도적인 교육기관과 기업들의 연구 결과와 제품들은 매우 인상적일 뿐만 아니라 매우 야심찬 프로젝트들이었다. 그러나 확장성 또는 지속 가능성의 측면에서 이러한 결과와 경험들은 확신을 줄만한 것인가? 또한 머신 러닝 기술은 현재의 분석 모델을 대체 또는 향상 시킬 수 있는가? 패널들은 아래의 질문에 대한 그들의 생각과 통찰을 청중들과 공유할 것이다.
패널: Mr. William Chesser, Dr. Rebecca Ferguson, Prof. Kirsty Kitto, Prof. Charles Severance, 조일현 교수 좌장: 조용상 박사(한국교육학술정보원) |
|
6:00pm |
저녁 만찬 (간담회) |
![]() |
Prof. Dai Griffiths (Bolton University, UK) |
Dai Griffiths is Professor of Education at the University of Bolton. His focus is on developing an understanding of education by bringing together the areas of pedagogy, technology and organisational structure. In this task he has the privilege of working with an excellent and varied group of PhD students. In his work Professor Griffiths is inspired by the Cybernetics tradition which he has engaged with for many years, being a regular guest editor of Kybernetes. His background is in the arts and in education, and he has taught at many levels including primary and secondary education, higher education and continuing education, and in industry. His professional engagement with eLearning started in as a multimedia developer in the 1990’s and expanded into research focused on the use of robotics with young children. Over the past fifteen years a particular concern has been the development, use and implications of specifications for eLearning, with particular reference to learning design and learning analytics. He has been a leading member of the LACE European project to support a community of Learning Analytics researchers and practitioners, and is working on the RAGE project with a focus on the use of specifications to support the creation and use of serious games. |
![]() |
Prof. Simon Buckingham Shum (University of Technology Sydney, AU) |
Simon Buckingham Shum is Professor of Learning Informatics at the University of Technology Sydney, which he joined in 2014 to direct the new Connected Intelligence Centre. Prior to this he was Professor and Assoc. Director (Technology) at the UK Open University’s Knowledge Media Institute. Simon has been an active contributor to the field of learning analytics since 2011, and served as Vice-President of the Society for Learning Analytics Research. |
![]() |
Prof. Charles Severance (University of Michigan, US) |
Charles is a Clinical Associate Professor and teaches in the School of Information at the University of Michigan. He is the Chair of the Sakai Project Magament Committee (PMC). and works for Longsight, Inc. as Sakai Chief Strategist. Previously he was the Executive Director of the Sakai Foundation and the Chief Architect of the Sakai Project and worked with the IMS Global Learning Consortium promoting and developing standards for teaching and learning technology. Charles teaches two popular MOOCs to students worldwide on the Coursera platform: Internet History, Technology, and Security and Programming for Everybody and is a long-time advocate of open educational resources to empower teachers. |
![]() |
Rob Abel, Ed.D. (IMS Global, US) |
Dr. Rob Abel is the Chief Executive Officer of the IMS Global Learning Consortium, a nonprofit collaboration of the world's leading universities, school districts, government organizations, content providers, and technology suppliers, cooperating to accelerate learning technology standards, adoption, and impact. Under Rob’s leadership IMS has grown over 7x and introduced the Learning Impact program, which is setting new benchmarks for high impact applications of technology in support of learning worldwide. Rob has over 35 years high tech industry experience, is a successful edtech industry entrepreneur, and is recognized worldwide as an expert in the application of technology to improve education, teaching and learning. Formerly he served as Senior Vice President at Collegis, Inc., Senior Director at Oracle Education, Senior Market Development Manager at National Semiconductor and Head of the Advanced Computing Laboratory at TRW ESL. |
![]() |
Mr. Tore Hoel (Oslo Akershus University College of applied sciences, NO) |
Tore Hoel has been working on international and European projects in the field of learning technologies for nearly 20 years. His fields of interest have been metadata, educational resources, e-textbooks, and now learning analytics. Tore Hoel has contributed to ISO/IEC JTC 1/SC36 standard on learning analytics, being an editor of the new part on Privacy and Data Protection Policies. |
![]() |
Dr. Rebecca Ferguson (Open University, UK) |
Dr. Rebecca Ferguson is a senior lecturer in the Institute of Educational Technology (IET) at The Open University in the UK, and a senior fellow of the Higher Education Academy. Her primary research interests are educational futures, and how people learn together online. Rebecca is an executive member of the Society for Learning Analytics Research, and has taken a leading role in many learning analytics events, including the annual Learning Analytics and Knowledge (LAK) conferences. Many of these events were associated with her work as a principal investigator on the European Learning Analytics Community Exchange (LACE). She is currently the principal investigator on LAEP, which is helping European policymakers to set out an agenda for high-quality and stimulating ways of learning and teaching through the use of learning analytics. Rebecca’s most recent book, Augmented Education, was published by Palgrave in spring 2014. For more details, see her blog at https://r3beccaf.wordpress.com/ |
![]() |
Dr. Yong-Sang Cho (Korea Education & Research Information Service, KR) |
Yong-Sang has conducted standardization projects for metadata of digital resources and learning analytics in ISO/IEC JTC1 SC36 as well as adoption of EPUB3 at JTC1/SC34 JWG. Also Yong-Sang organized convergence technology between digital publishing and learning domain through digital textbook content/service from 2011. Recently this convergence is known as EDUPUB led by IDPF, IMS Global and W3C. |
![]() |
Prof. Jaeho Lee (University of Seoul, KR) |
Jaeho Lee (jaeho@uos.ac.kr) is a Professor of School of Electrical and Computer Engineering at the University of Seoul, Korea, where he has served on the faculty since 1998. He received the Bachelor’s and Master’s degree in computer science from the Seoul National University, Korea, in 1985 and 1987, respectively and the PhD degree in computer science and engineering from the University of Michigan, USA, in 1997. His PhD research developed an explicit semantics for coordinated multi-agents of AI systems. |
![]() |
Prof. Il-Hyun Jo (Ewha Womans University, KR) |
Il-Hyun Jo(ijo@ewha.ac.kr) is an Assistant Professor at the Department of Educational Technology and a Director of LAPA lab at Ewha Womans University, South Korea. He earned his Ph.D in Instructional Systems Development at Florida State University. Before joining the Ewha Womans University, he was an executive director in Samsung HRD center and Samsung Credu Corporation. He was a president of Korea Society for Learning and Performance, and a director in MOOC center at Ewha Womans University. His research interests include Learning analytics & Learning design, Human resources development and Emerging technologies in education. |
![]() |
Dr. Kirsty Kitto (Queensland University of Technology, AU) |
Kirsty Kitto (@kirstykitto) is a Senior Research Fellow at Queensland University of Technology, QUT. She models the ways in which humans interact with complex information environments, paying special attention to the interdependencies between language, attitudes, memory and learning. She is leading a project funded by the Australian government which is developing xAPI based solutions for instructors who want to teach “in the wild” beyond the LMS. Kirsty is a founding member on the Board of Directors for the Data Interoperability Standards Consortium (DISC). |
![]() |
Dr. Stephen Vickers (IMS Global) |
Stephen has been both a user and developer of elearning applications in Higher Education for over 30 years. Initially this was as an Accounting faculty member, but more recently he was manager of the Technology Enhanced Learning team at The University of Edinburgh. In 2010-2011 he led the JISC-funded "Creating Environments for Learning using Tightly Integrated Components" (ceLTIc) project which explored the development of tool providers using the IMS Learning Tools Interoperability (LTI) specification. In 2012 he became a freelance consultant specializing in education technology. Stephen is a multiple recipient of Innovative Development awards from Blackboard Inc. He is also a director of OSCELOT (Open Source Community for Educational Learning Objects and Tools). He has developed several open source PowerLinks and Building Blocks for use with Blackboard products, including ones providing support for Basic LTI. He has a passion for applying technology in education to empower colleagues to achieve their goals. |
![]() |
Mr. William Chesser (VitalSource) |
William is an entrepreneur and company leader who has spent the last twenty years helping publishers and universities navigate the move to digital content distribution in education. He was a member of the founding team at VitalSource, and today he leads worldwide Business Development for the company. That role includes overseeing the business in all non-North-American higher education business as well as corporate and adult training businesses. Previously, William worked in the School of Education at the University of North Carolina at Chapel Hill, where he was Assistant Director of the National Paedeia Center. |
![]() |
Mr. Lance Sloan (University of Michigan) |
Lance develops web-based learning technology applications and has over twenty-two years of experience in the field. He currently holds the position of Application Developer Senior with the Teaching and Learning department of the Information and Technology Services unit at the University of Michigan in Ann Arbor, Michigan, USA. In recent years, Lance has strengthened his involvement in learning analytics technologies. In particular, his focus has been on contributing to the development of the standards and implementation of Caliper from IMS Global, a representation of events caused by users' interactions with applications. He has contributed to the implementation of Caliper event support in the OpenLRS event store from Apereo Learning Analytics Initiative. He's currently working with his colleagues at U-M to identify the most beneficial ways to use data resulting from the analysis of Caliper events emitted from their applications. He's a strong believer in open source technologies and standards, utilizing them often and contributing to their advancement whenever possible. |
![]() |
Mr. Paul Kerschen (UC Berkeley) |
Paul Kerschen is a software developer active in numerous educational technology projects at UC Berkeley. At present he is contributing to a learning analytics pilot project consisting of a dashboard integrated with the university's LMS and custom tools, backed by a learning records store interoperable with the xAPI and IMS Caliper standards. Before joining UC Berkeley as a developer, he earned a Ph.D. in the school's English department. |
![]() |
Dr. Yeonjeong Park (Honam University, KR) |
Yeonjeong Park(ypark@honam.ac.kr) is an Assistant Professor at the Honam University, South Korea. She has been working on diverse learning analytics projects as a Research Professor at the Ewha Womans University. She also worked as a HR Strategic Consultant in Samsung SDS, after completing her Ph.D. in Instructional Design and Technology at the Virginia Tech in the USA. She has published several articles on social theories of learning, educational data mining, learning analytics and emerging technologies in education and training. Charles teaches two popular MOOCs to students worldwide on the Coursera platform: Internet History, Technology, and Security and Programming for Everybody and is a long-time advocate of open educational resources to empower teachers. |
![]() |
Jihyun Yu(Ewha Womans University, KR) |
Jihyun Yu(jeehyunee625@gmail.com) is an Graduate Student at the Ewha Womans University, South Korea. She has been working on learning analytics projects as a Research Assistant at the LAPA Lab. She has presented studies on Learning Analytics Dashboard and Prediction model in LMS. |
![]() |
Rasmus Blok (UNIwise, DK) |
Rasmus Blok(rasmus@uniwise.dk) is an Executive Director, Development of UNIwise, Denmark. He is responsible for the development of WISEflow. As a former researcher, professor, head of educational IT at Aarhus University he knows what makes a difference for the users. |
![]() |
CEO Jungho Park (Leo) (UNIwise Korea / DUCOgen Ltd, KR) |
Jungho Park(ceo@ducowise.com) is owner at DUCOgen and representative of UNIwise Korea and graduated educational technology from Hanyang University, South Korea. He has worked for over ten-years as a founder and vice president at Wedu communications, renowned for its services and products including digital contents for e-book and e-learning. DUCOgen is international joint-venture with UNIwise from Denmark for extending its business to global educational service market. We head for an ideal state as emerging edutainment services through full of experiences of e-learning contents. UNIwise is an independent software and consultant company with the motto of creating intelligent educational solutions, WISEflow, targeting assessment and exams for educational sectors. WISEflow is a well proved cloud-based service that makes digital assessment easy, fast and secure and leads No 1. Educational assessment platform in Scandinavian. |
![]() |
Eunji Lee(Ewha Womans University, KR) |
Eunji Lee(erin3779@gmail.com) is an Graduate Student at the Ewha Womans University, South Korea. She has been working on learning analytics projects as a Research Assistant at the LAPA Lab. She has presented studies on Exploring Relation between Visual Attention and Learning Analytics Dashboard Comprehension. |