우리는 시행착오(Trial & Error)를 통해 배웁니다. 

팅커링(Tinkering)

팅커링은 혁신 수업 중 하나인 메이커 교육에서 많이 사용하는 단어입니다. 자유롭게 주어진 재료를 가지고 무엇인가를 만들거나 개선하며 창의적인 실험과 조작을 하는 과정입니다. 이것 저것 시도해보며 배우는 시행착오 과정이죠.

나심 탈레브도 안티프래질에서 팅커링에 대해 이야기했습니다. 책에서는 복잡한 시스템이나 현상을 이해하거나 개선하기 위한 작은 실험을 의미했죠. 팅커링은 손실은 작지만 커다란 이익을 얻을 수 있는 시행착오로, 옵션의 특성을 가지고 있습니다.

경사하강법

복잡한 시스템의 거동을 잘 모를 때 작은 실험을 통해 결과를 개선해가는 과정. 수치해석이나 머신러닝의 최적화 분야에서도 같은 방법을 사용합니다. 복잡한 시스템은 목적함수 또는 손실함수라 부릅니다. 우리가 바꿀 수 있는 것은 매개변수이고, 작은 실험은 현재 매개변수를 이용해 목적함수의 값과 기울기를 계산하는 과정이 됩니다. 계산한 값을 이용해 매개변수를 어떻게 개선해야 하는지에 대한 피드백을 얻고 매개변수를 개선하는 과정을 반복해가며 점점 향상된 결과를 얻게 됩니다.

이렇게 시행착오를 통해 결과를 개선해가는 과정에는 작은 실패와 성공들, 피드백들이 포함됩니다. 실패는 학습 과정의 일부분입니다. 실패에 낙심하지 말고 다시 시도합시다. 실패는 다시 하라는 뜻입니다.