Voke report: Agile delivers higher customer satisfaction and quality by Hubert Shin

원문보기

Voke사가 출판한 "애자일의 현실"이라는 보고서에 대해 현재까지 많은 논란이 있다. 이 때문인지 SDTimes는 내게 그 보고서 안의 글들에 대해 논평을 해주길 원했고, 이것을 동기로 난 보고서의 전체 내용을 읽게 되었다. 한 가지를 덧붙이면 이 보고서 가격자체가 너무 비싸, 한 번 구입하면 모조리 읽을 수 밖에 만든 것도 또 다른 동기가 되었다. 결국, 난 내용을 잘 파악 할 수 있었고 리뷰 또한 올바로 쓸 수 있게 되었다고 생각한다. 그럼 이제부터 내가 읽은 견해를 표현해 보겠다. 위 내용에 대한 전체적인 총평을 한다면, 애자일에 대한 결론을 너무 쉽게 내려버린듯한 느낌이고, 심지어 가장 중요한 결론들조차 제대로된 자료 수집 과정을 거치지 않았다.

이번에 릴리즈 된 내용을 보면, 우리는 Voke 사가 연구 활동을 통해 다음과 같은 결론들을 내렸다는 것을 알 수 있다: 

  • "소규모 팀들이 훨씬 짧은 기간동안 프로젝트를 수행하는데 불구하고, 소프트웨어 프로젝트들의 평균비용이 크게 오르고 있다" - 이것은 애자일 적용 때문에 비용이 올랐다는 것을 함축한다.
  • "조사에 참여한 참가자들의 말에 따르면, 애자일은 이익을 주기 보다, 굳이 현실의 더 많은 문제들을 알게 하여 프로젝트내에 혼란을 준다라고 증언한다."
  • "그들이 경험한 재앙과도 같은 소프트웨어의 실패들을 고려한다면, 우리는 현재상태에서 품질을 올리기 위해 무엇인가를 해야 한다." - 애자일은 낮은 품질의 제품을 만들기 때문에 무엇인가를 해야 한다는 것을 의미한다.
  • 임원들이 애자일을 추진하려는 목표는 애자일이 비즈니스 어질리티이나 때문이나, Voke사의 보고서 내용은 마치 ,애자일이 애자일 커뮤니티가 진행한 유인 상술일 뿐이라고 생각하는 것으로 보인다. 
실제 보고서 내용에 보면, Voke사는 크게 다음의 3가지의 주장을 하고 있다. 첫째, 애자일은 소프트웨어 개발 프로세스 상에서 개발자들이 효과적으로 프로세스를 제어할 수 있도록 만드는 트로이의 목마와 같다. 즉, 개발자들이 생각하는 지겨운 일들 즉, 문서화, 설계 그리고 계획 등 을 효과적으로 피할 수 있게 해준다. 둘째로, 나 같은 컨설턴트들이 효과적으로 서비스, 트레이닝 그리고 책 따위를 팔도록 도와준다. 마지막으로, 가장 핵심적인 애자일의 가치는 빠른 프로토타입을 수행하는 것 이상으로 도움이 되지도 않는다. 때문에 이것은 전혀 새로울 것이 없다. 이들을 종합하여 이야기 하면, Voke 사는 그다지 열심히 애자일에 대해 열심히 공부해본 것 같지는 않다.(위 견해들에 대해 다른 말로 표현하고는 있지만, 난 원본 그대로의 뉘앙스를 그대로 이야기하려고 노력하고 있다.)
Voke 사는 그 많은 회사들이 애자일에 의해 혼란스러워 한다고 말하고 있다. 하지만, 이런 류의 보고서를 작성하는 것 같이, 정작 스스로의 비즈니스 조차도 제대로 하고 있지 못한 듯 하다. Voke는 애자일, 린, DevOps 에 대한 토의를 시작할 때 아주 기본적인 실수들(또는 잘못된 이해)을 저질렀다. 그리고, 그들이 저지른 가장 큰 실수는 바로, 애자일 수행 시 품질의 역할에 대한 것이다. 그들은 QA 즉, 품질을 높이는 역할에 대해 아예 언급하지 않았다.

이를 뒷받침하는 근거로, 그들은 애자일선언이나 DevOps 내용 어디에도 품질이 가장 중요하다는 논의가 없다는 것을 이야기 한다. 이 주장은 린, 애자일 관련 모든 훌륭한 토의들의 중심에 품질을 높여야 한다는 사실이 엄연히 존재 한다는 것을 무시하고 있다. 실제 애자일에서는, 애자일 방법론을 수행하는 것 자체 뿐만이 아니라, 더불어 분석자, QA 그리고 운영담당자들이 함께 지속적인 협업을 한다는 것 또한 강조한다. 그리고 애자일을 시작하는 사람들에게도 TDD나 지속적인통합 그리고 리팩토링 같이 결함을 조기에 발견하고 수정하여 비용을 잠재적으로 줄이는 방법(논문에서 알 수 있듯이)을 사용하도록 독려한다.

또 한 가지에 대해 짚고 넘어가보자: 2008년 이후 "애자일의 현실"이라는 보고서가 나오기 전까지 과연 소프트웨어 개발 비용이 계속 증가해왔는가? 사실은 프로젝트 기간이 짧아지면서, 평균적으로(주2) 프로젝트 비용은 거의 비슷하게 사용된 것을 알수 있다. 이것은, Voke사가 많은 기업들과 마찬가지로 IT가 많은 비용이 들게 하는 주요 원인으로 보는 실수를 저지르고 있다는 것을 의미한다. 즉, 투자에 대한 이익보다, 개발 비용 자체에 대해 초점을 맞추고 있는 것이다. "무엇이든 측정할 수 있다"의 저자인 Douglas Hubbard는 다음과 같이 언급한다. "프로젝트 안에 매우 불확실한 개발 비용들이 산정되어있음에도 불구하고, 이 비용의 규모로 투자를 할 지 안 할지를 결정하는 가장 중요한 요소는 프로젝트를 취소하게 되는 의사결정이다. 그 다음으로 프로젝트 투자에 가장 중요한 요소는 시스템의 활용도이며, 이는 얼마나 빨리 설치하고 사용자들이 활용할 수 있을지를 포함한다. " 그의 의견을 고려한다면, 같은 가격으로 고객의 피드백을 받으면서 훌륭한 품질의 제품을, 보다 짧은 시간에 만들 수 있다는 것은 굉장한 일이다. Voke사가 밝힌 자료에서 보더라도, 애자일 방법론을 사용한 프로젝트에서는 개발 후 버려지는 프로젝트가 없다고 한다.

Voke 사가 32페이지의 보고서 끝에 숨겨놓은 진실은 기술 중심의 회사든 아니든 간에 애자일 방법론을 쓸 때 결과적으로 더 높은 수준의 고객 만족을 가져왔고 해결되지 않은 결함(애자일 품질 문제와 밀접하게 연관될)또한 적었다는 것이다. 하지만, 대부분 기업들은 기술중심의 회사들보다 더 낮은 퍼포먼스를 보이고 있다. 때문에, 기술 회사들의 많은 수가 애자일 방법론을 사용할 때 다른 기업(주3)과 비교할 때 더 많은 고객 만족을 얻고 있다.

불행히도, 이 글의 작가들은 보다 넓은 폭의 거시경제 이슈를 언급하지 않았다. 1958년과 현재를 비교하면 S&P 500 회사의 생애는 평균 61년에서 18년으로 현저히 줄었다. 그리고 이 기간동안 동시에 발생한 이벤트를 이야기 하면, 바로 제조업이 지고, 소프트웨어 업이 성장한 것이다. 또한 린과 애자일 방법론을 중심으로 스타트업을 수행한 기술 중심의 신생회사들은 새로운 경쟁력으로 기본 회사들에 위협으로 자라났다. (대부분의 벤처 투자자들은 애자일 스타트업 방식이 아닌 경우 투자하지 않는다.) 사실 이 때문에 많은 기업들이 애자일 방식을 점점 더 많이 쓰려고 하고, 많이 쓰다 보니, 작가들이 말한 것처럼 심각한 문제들을 일으키는 것이다. 하지만 내 논지는 10년점의 애자일은 문서나 설계를 믿지 않는다는 FUD(Fear, Uncertainty and Doubt)를 반복하자는 것은 아니다.

이 문서의 데이터는 (위와 같은 이유로) 흥미를 위해 만들어진 것 같다. 난 보다 통계학적인 분석, 연관관계 그리고 그래프 같은 것들을 보고 싶은데도 불구하고 말이다. 안타깝게도 이 분석 내용은 작가가 원하는 결론을 내기 위해 약간 조작하는 것 외의 그다지 가치가 없어보인다.
--------------------------------------------
주1) 애자일 선언에 "품질"이라는 단어는 없지만, 9번째 원칙에서 "훌륭한 기술력을 위해 지속적으로 노력하고 어질리티를 높이기 위해 훌륭한 디자인을 해야 한다" 라는 말이 있다. Voke 사가 주장한 말중에 애자일 선언은 애자일을 수행하는데 부적절한 가이드라는 말이 있다. 이것은 사실이다 왜냐하면 애자일 선언의 의도는 애자일을 수행하는 방법을 정의하거나 가이드 하는 것이 아니기 때문이다. 이 의도는 2001년에 관심을 같게된 여러가지 "가벼운"접근의 방법론들의 핵심 메시지들을 도출해 낸 것이다. (마틴 파울러와 짐 하인스미스는 선언에 대한 배경을 이야기 할때, 품질에 대해서도 함께 이야기했다. 여기이 방법론들이 바로 Voke사의 작가들이 빠트린 수준의 상세 내용들이다. 마틴 파울러는 그의 블로그에서 다음과 같이 이야기 한다. "애자일은 가치와 원칙들로 이루어진 마음가짐이다. 애자일은 대부분의 사람들이 이해하듯이 기법들과 산출물들로 이루어진 방법론이 아니다" - 그의 블로그에서 더 확인할 수 있다.

주2) Voke는 그들이 제공한 데이터에 대해 평균이나 표준편차 또는 연관관계 같은 것을 전혀 제공하지 않고 있다. 게다가 어떤 그래프도 없다.

주3) 대신에, 내가 실제 숫자가 있는 보고서를 제공하겠다. 제대로된 보고서를 작성하려면 이정도 투자는 해줘야 한다.


핑백

덧글

  • 2014/12/19 16:36 # 삭제 답글

    위대한 게시물을 계속 곧 돌아올 것이다
  • 2014/12/27 13:56 # 삭제 답글

    좋은 사이트! 너무 많은 정보!
댓글 입력 영역