3.1 앙상블 예측결과

Fig. 3은 2016년 10월 4일 00 UTC의 24시간 예측시간에 대한 유의파고의 스탬프 맵이다. 스탬프 맵은 24개 멤버의 유의파고를 모두 표출한 것으로 각 멤버의 정보를 한눈에 확인할 수 있다. 스탬프 맵의 가장 상단에는 현업 단일모델의 예측 결과와 앙상블 모델의 예측 평균값을 함께 표출하여 단일 모델의 예측결과와 비교할 수 있도록 하였다. 2016년 제18호 태풍 차바(Chaba(1618))가 한반도의 남해안으로 지나갈 것으로 예측되며, 당시 단일모델 예측과 앙상블 모델의 예측장 평균 모두 남해안에서 매우 높은 파고가 예측되고 있는 것을 확인 할 수 있다. 앙상블의 각 멤버별 특성을 보면, 24번 멤버의 경우 유의파고의 높이가 다소 낮게 예측된 반면, 12번 멤버의 경우 남해안 및 제주 전 해상에서 높은 유의파고를 예측하고 있어 멤버에 따라 다양한 결과를 나타내고 있음을 확인할 수 있다.

Fig. 3.

Stamp map of SWH for 24 hr forecast hour Oct. 4, 2016.

Fig. 4는 Fig. 3과 같은 사례에 대한 스프레드(음영)와 스파게티(등치선)를 나타낸 것이다. 스프레드는 멤버들 사이의 표준편차로 앙상블 예측의 불확실성을 표현하고 스파게티는 특정 임계값의 분포도를 나타낸다. 대체로 스프레드가 큰 곳에서 스파게티도 넓게 분포한다. Fig. 5는 특정 임계값에 대한 확률 값을 나타낸 것으로 각 격자점에서 특정 임계값을 넘는 멤버가 N개라면 확률은 N/24 × 100(%)으로 계산된다.

Fig. 4.

Spaghetti and spread for threshold 3 m.

Fig. 5.

Probability map of SWH for threshold 3 m.

3.2 앙상블 스프레드 개선

앙상블 예측시스템의 기본은 앙상블 스프레드가 적절히 퍼져나가 자연 상태를 설명할 수 있어야 한다. 본 연구에서는 이러한 앙상블 스프레드를 평가하기 위하여 순위 히스토그램을 분석하였다. 순위 히스토그램은 검증방법은 아니나 앙상블 스프레드를 평가하는 진단도구이다(Anderson, 1996; Hamill and Colucci, 1996; Hamill and Colucci, 1997). 순위 히스토그램은 예측 앙상블 멤버들을 크기순으로 나열하여 멤버수(N) + 1의 구간을 설정하고, 관측 값을 해당 순위에 매칭을 한 후 값을 누적한 그래프이다. 관측 값이 각 구간에 속하는 확률이 동일하다면 히스토그램은 이론적으로 평평한 모형을 보여야 한다. 만약 U자 형태를 나타낸다면 앙상블 스프레드가 너무 넓음을 의미하고, 반대로 돔의 형태를 나타내면 앙상블 스프레드가 좁게 분포함을 의미한다. 또한, 히스토그램이 한쪽으로 기울어지는 형태를 보이면 스프레드에 편차가 있다는 것을 의미한다.

Fig. 6은 앙상블 파랑 스프레드의 순위 히스토그램을 나타낸 것으로 앙상블 스프레드는 3일 예측자료를 사용하였다. 2016년 7월부터 9월까지 히스토그램(막대그래프)은 비교적 평평한 모형을 보이고 있어, 앙상블 스프레드가 해상상태를 잘 모사한다고 볼 수 있다. 반면, 2016년 10월부터 2017년 2월까지의 히스토그램(붉은 실선)은 상위 순위로 집중되는 경향을 보이고 있다(Fig. 6(d)~(h)). 이러한 경향은 11월에 가장 큰 값을 보이고 있으며 모델에 편차가 있음을 의미한다. 즉 실제 해상상태보다 앙상블 스프레드가 과소모의 하는 경향을 보이고 있으며, 이러한 경향은 가을과 겨울철에 뚜렷이 나타났다. 이렇게 계절적으로 나타나는 편차를 보완하기 위하여 앙상블 스프레드를 전체적으로 크게 모의할 수 있도록 파랑모델에서의 계수에 대한 조정이 필요하다. Lee et al.(2009)는 파랑모델에서 예측정확도에 영향을 주는 8개의 물리계수를 우선적으로 선정하였다. 선정된 계수는 파랑에너지 입력 소산 항에서 유효 해상풍계수(c₀), 비선형 파상호작용 항에서의 비례상수(C), 천해에서의 비선형 파상호작용을 계산하기 위해 사용되는 kd=0.75k^d 로, 여기서 k는 파수, d는 평균 수심을 의미한다. 입력소산항에서 상대적으로 약한 바람이나, 반대방향의 바람에 의한 파의 감소효과를 나타내는 계수(X_s), 파-해저 상호작용 항에서의 경험상수(Γ), 마지막으로 모델 적분시 사용되는 경험상수(X_p, X_r, X_f) 등이 있다. 선행연구에서는 c₀, X_p, C 그리고 X_s로 이루어진 계수의 조합이 전체 민감도의 99%를 차지함을 밝혔으며, c₀의 경우 약 93% 이상의 민감도를 보여 8개의 물리계수 중에서 모델예측성에 가장 큰 영향을 끼치는 것으로 나타났다. Park and Kang (2012)의 연구에서도 전지구 파랑예측모델의 예측성 개선을 위하여 최적의 유효 해상풍 계수를 선정하는 연구를 수행한 바 있다. Wang et al.(2017)의 연구에서는 TC96 물리과정에서 풍속을 조정하는 계수는 매우 민감하며, 특정해역에 대해서 WW3 모델을 적용하기 전에 계수값의 보정이 필요함을 언급하였다.

Fig. 6.

Rank histogram plots for day 3 lead times. Red line shows raw ensemble.

본 연구에서도 파랑모델의 에너지 입력 및 소산에 관한 물리과정 중에서 Tolman and Chalikov(1996) 방안을 채택하고 있으며, 해상풍의 경우, 유효 해상풍 계수를 사용하여 입력되는 해상풍을 최적화하고 있다. 식(1)은 파랑모델 내에서 실제 해상풍(U₁₀) 대신에 사용되고 있는 유효 해상풍(U_e)을 나타내고 있다.

위 식(1)에서 ST는 주요 안정도 계수이고, T_a, T_S 그리고 T0는 각각 대기, 해양 그리고 참고 온도를 의미한다. h는 해상풍과 대기 온도의 참고 높이를 나타내고, f₁ ≤ 0일 경우, c₁과 c₂는 서로 반대 부호를 나타내며, f₂ = f₁c₁/c₂이다. g는 중력가속도, Uh는 참고 높이에서의 풍속을 나타낸다. 기본적으로 모델에서는 c1 = −0.1, c2 = 0.1, f1 = −150 그리고 ST₀ = −0.01로 설정되어 있다. 결국 식(1)에서 유효 해상풍 계수(이하 c₀)를 조절함으로서 대기모델의 해상풍에 의해서 파랑 변수에 특별한 편차 경향을 보일 때 편차를 보정하는 역할을 할 수 있다. 최적의 계수를 선정하기 위하여 Lee et al.(2009)의 연구에서 적용한 방법을 사용하였으며, 그 방법은 설정된 c₀ 값에 ± 10%, ± 20%, 그리고 ± 50% 비율을 적용하여 c₀를 재산정한 후 모델을 수행하여 가장 예측성능이 좋은 계수를 선정한다. 본 연구에서 기본적으로 설정된 c₀는 1.6이고 유의파고의 과소모의 경향을 보정하기 위하여 + 10% 비율을 적용한 c₀ = 1.8으로 조정하여 모델을 재 수행하였으며 그 결과를 막대그래프로 표현하였다. 계수를 보정하기 전에 상위 순위로 치우쳐 있던 경향이 다른 순위로 골고루 분포하는 것을 확인하였고, 이것은 계수 조정을 통한 계절적인 모델의 편차가 보정된 것을 의미한다.

3.3 제곱근 오차(Root Mean Squared Error; RMSE)와 스프레드(Spread)

앙상블 예측의 목적 중 하나는 앙상블 멤버(하나 또는 여러 개 멤버의 조합)가 실제 해상 상태를 대표할 수 있다고 기대하는 것이다. 따라서 앙상블 예측시스템에서의 기초적인 검증요소는 앙상블 평균과 앙상블 스프레드를 비교하는 것이다. RMSE는 식(2)과 같이 앙상블 평균과 실제 값(본 연구에서는 관측자료)의 차이를 제곱근한 값이고 스프레드는 앙상블 평균에 대한 각 앙상블 멤버들의 표준편차이다(식 3)).

식(2)에서 f¯ 는 앙상블 평균 값, o는 관측값을 나타내고 M은 모델의 격자수를 나타낸다. 식(3)에서 f¯ 는 앙상블 평균 값, f_i는 i번째 멤버의 예보값, N은 앙상블 멤버 수를 의미한다. 앙상블 멤버의 수가 무한하다고 가정하면, 앙상블 멤버들의 스프레드와 앙상블 평균과 실제 해상상태의 차이는 같아야 한다. 다만, Barker(1991)는 앙상블 멤버수가 무한대로 커진다 해도 RMSE와 스프레드의 상관성이 항상 높은 것은 아님을 언급하며, 다만 상관성이 낮다 해도 앙상블 정보는 가지고 있다고 밝혔다.

Fig. 7은 분석기간 동안의 유의파고에 대한 예측시간별 앙상블 예보평균 오차와 스프레드를 나타낸 것으로 각각 초기 시간(a)과 3일 예측(b)의 분석결과이다. 그림 안의 히스토그램은 스프레드를 각 0.2 m 간격으로 나누어 각 구간에 해당되는 스프레드의 빈도수를 나타낸 것이다. Barker(1991)에 의하면 초기 예측시간에서는 RMSE와 스프레드의 상관성이 높고 예보시간이 길어질수록 점차 상관성이 낮아진다고 밝혔지만, 본 연구에서는 단기예측의 결과만을 보여주기 때문에 예보시간의 크기에 따른 상관성의 차이가 크게 나타나지는 않았다. 그래프가 대각선에 일치할수록 앙상블 스프레드가 해상상황을 잘 표현함을 의미하며 검은 선은 앙상블 스프레드를 개선한 후이고, 회색선은 개선전의 결과이다.

Fig. 7.

Spread/skill relationship of the significant wave heights for (a) day 0 lead time and (b) day 3 lead time. Inset histogram shows populations in each spread bin.

RMSE와 스프레드의 일치성을 확인하기 위하여 스프레드가 1 m 이하인 경우의 RMSE와 스프레드의 차를 분석하였다. 앙상블 스프레드를 개선하기 전과 후 평균 차이 값이 각각 0.10 m와 0.08 m로 나타났으며, 앙상블 스프레드를 개선함으로써 약 13% 이상으로 일치성이 향상됨을 확인하였다. 초기시간보다 3일 예측에서 예측오차가 크게 나타나고 전체 빈도수의 약 99%를 차지하는 0.8 m 이하에서 대각선과 잘 일치하는 것을 확인할 수 있다. 반면, 예측유의파고 1 m 이상에서는 대각선과 다소 멀어지는 경향을 보이고 있는데, 이 구간은 전체 빈도수의 약 0.94%를 차지하기 때문에 그 대표성은 현저히 떨어지지만 특정 사례의 결과가 표현된 것으로 해석된다. 전반적으로 확률예보를 위한 앙상블 스프레드가 실제 해상상태를 표현하는 데 보다 안정적인 것을 확인할 수 있고, 또한 스프레드를 개선함으로써 오차의 변동 폭에 있어서 급격한 증가 또는 감소하는 경향 없이 점진적으로 증가하는 것으로 보아 이 앙상블예측시스템의 안정성 역시 향상된 것을 확인할 수 있다.

3.4 앙상블 모델의 예측성능과 확률 검증

해상예보의 가이던스 제공을 위하여 앙상블 예보에 대한 검증을 수행하였다. 비교대상은 단일모델의 예측결과와 앙상블 예측의 평균자료이며 앙상블 평균자료는 24개 멤버를 산술평균한 값이다. Fig. 8은 예보시간에 따른 앙상블 예측평균과 단일모델의 예측결과의 RMSE와 편차를 나타낸 것이다. 검은색 막대는 단일모델의 예측결과이고 밝은 회색은 스프레드를 개선하기 전의 앙상블 예측 평균의 결과이며, 어두운 회색은 스프레드를 개선한 후의 앙상블 예측 평균의 결과이다. Fig. 8(a)~(b)는 전체 분석기간 동안의 결과이며, Fig. 8(c)~(d)는 태풍 등 위험해양 기상시의 모델의 예측성능을 알아보기 위하여 2016년 제18호 태풍 ‘차바(Chaba)’ 사례 기간 동안의 결과를 나타낸 것이다. 참고로, 태풍 차바(1618)는 2016년 9월 28일 03시에 태풍으로 발생하였고, 중심기압 930 hPa, 최대풍속 50 m/s까지 발달하였다. 10월 5일 03시 955 hPa의 세력을 유지하면서 서귀포 남남서쪽 약 50 km 부근해상까지 북상하였으며 2016년 10월 5일 09시에 여수 동남동쪽 약 40 km 부근해상을 지나 동해안으로 빠르게 이동하여 2016년 10월 6일 06시에 온대저기압으로 변질되었다.

Fig. 8.

(a) Bias and (b) RMSE variation of significant wave heights for 00, 24, 48, 72 hours forecasting between ocean buoy observation and deterministic forecast and ensemble mean forecast. (c) Bias and (d) RMSE for Typhoon Chaba (1618) case.

앙상블 스프레드를 개선하기 전에는 단일모델의 예측에 비하여 과소 모의하는 경향이 매우 크게 나타났으나, 개선 후에는 편차가 크게 감소하여 대부분의 예측시간에서 편차가 0에 가깝게 개선되었다. 즉, 가을과 겨울철에 나타난 계절적인 편차를 보정하면서 편차에서 많은 개선이 이루어진 것으로 판단된다. RMSE의 경우에도 단일예보의 예측에 비하여 스프레드가 개선되면서 전체 예측시간에 대하여 앙상블 예측의 성능이 향상된 것을 확인할 수 있다. 특히, 2일 예측시간 이후에는 앙상블 예측평균이 단일예보의 예측에 비하여 RMSE가 크게 감소한 것을 확인 할 수 있는데, 이것은 예보시간이 길어지면서 수치모델의 불확실성이 커지게 되는데, 이러한 불확실성이 예측결과에 반영된 것으로 판단된다. 또한, 태풍 차바(1618)의 경우에도 단일 모델예측에 비하여 편차가 작았으며, 특히 3일 예측에서는 단일모델보다 약 36% 정도 예측성능이 향상된 결과를 보였다.

앙상블 파랑예측 자료를 확률예보에 활용하기 위한 확률 예측성을 검증하였다. 검증 변수는 Brier Score(BS), Brier Skill score(BSS), 신뢰도 다이어그램, Relative operation characteristic(ROC)이다. BS는 확률예측 정확도를 측정하는데 이용되며, 예측평균과 관측평균 사이의 관계인 신뢰도, 판별력, 그리고 불확실성으로 나뉜다. BS가 0 가까울수록 완벽한 예측을 의미한다. BSS는 확률예측 score로 사용되며 기후자료, 다른 확률예측자료 그리고 현업자료 등 참조된 자료의 BS와의 score를 나타낸다. BSS가 1을 나타낼 경우 완벽한 예보를 의미한다. 신뢰도 다이어그램은 앙상블 예측의 신뢰 관계를 나타낸다. 그래프가 대각선과 일치할수록 예보확률의 신뢰도가 높음을 의미하고 대각선 아래에 위치할 경우 실제 발생확률에 비하여 많이 발생하는 경향을 나타내고, 대각선보다 위에 위치할 경우 확률예보가 과소모의 함을 의미한다. ROC는 특정 임계값을 설정하여 확률예보에서 얼마나 잘 감지하는지 판단하는 지수로 앙상블 확률예보의 성능을 평가하는 방법으로 이용된다. 예보가 완벽하다면 ROC 면적은 1이고 ROC 면적이 0.5일 경우, 즉 대각선 아래에 위치할 경우 예보의 가치가 없다고 판단한다. 기상청의 풍랑관련 특보 발표기준은 해상에서 풍속이 14 m/s 이상이 3시간 이상 지속되거나 유의파고가 3 m 이상이 예상될 때이다. 본 연구에서는 위험 해양기상의 선제적인 정보를 제공하고자 유의파고 2 m에 대한 확률예측 검증을 수행하였다.

Fig. 9는 예측 유의파고 2 m 이상에 대한 BSS와 BS를 나타낸 것이다. 예측 시간이 길어질수록 BSS가 커지고 있으며 앙상블 스프레드에 대한 보정 전보다 보정 후의 결과가 1의 값에 더 가까워 좀 더 완벽한 예보값을 보이고 있다. BS의 경우도 BSS와 비슷한 경향을 나타내며 예보시간이 길어질수록 BS 값이 커지고, 보정된 앙상블 스프레드의 BS 결과가 0에 가까운 경향을 보이고 있다. Fig. 10은 예측 유의파고 2 m 이상에 대한 신뢰도 다이어그램을 분석한 결과이다. 파선은 앙상블 스프레드를 개선하기 전의 검증결과이고, 실선은 앙상블 스프레드를 개선한 후의 검증결과이다. 초기시간의 전체 예측확률이 실제 확률보다 과소 모의하는 경향이 뚜렷이 나타난다. 스프레드가 개선된 후 50% 이하의 낮은 확률구간에서 과소모의 경향이 다소 완화되었고, 높은 확률구간에서는 다소 과대 모의하는 경향을 보이고 있다(Fig. 9(a)). 1일 예측시간에서는 스프레드가 개선되면서 대각선과 일치하는 경향을 보여 실제 확률과 유사한 결과를 보였다. 2일 예측에서는 60% 이상의 높은 확률구간에서 과대 모의하는 경향이 뚜렷하여 예측확률이 다소 떨어지는 경향을 보였으며, 3일 예측에서는 대각선과 비교적 잘 일치하고 있어 단기예측에서보다 예측시간이 길어질수록 신뢰도가 향상된 결과를 보이고 있다.

Fig. 9.

(a) Brier skill scores and (b) Brier scores for significant wave height higher than 2 m. Solid lines shows corrected ensemble and Dash lines shows raw ensemble.

Fig. 10.

Significant wave height reliability plots for (a) day 0 lead time, (b) day 1 lead time, (c) day 2 lead time and (d) day 3 lead time. Threshold is 2 m. Dash and solid lines show the ensemble and corrected ensemble, respectively.

Fig. 11은 예측 유의파고 2 m 이상에 대한 예측시간별 ROC 곡선을 나타낸 것이다. ROC 곡선은 대체로 좌측상단에 위치하고 있어 확률예측의 성능이 우수함을 보이고 있으며 예보시간이 길어질수록 좌측하단으로 다소 치우치는 경향을 보이고 있다. 앙상블 스프레드를 개선하기 전에는 ROC 면적이 0.9 이하를 나타냈지만, 스프레드에 대한 보정이 수행되면서 ROC 면적이 모든 예측시간에서 0.9 이상을 보였다. 특히, 3일 예측의 경우 앙상블 스프레드를 개선하면서 ROC 면적의 크기가 0.88에서 0.9로 상승하였고, 이것은 파랑 발생 확률에 대한 예측성능이 향상됨을 의미한다.

Fig. 11.

Significant wave height ROC plots for (a) day 0 lead time, (b) day 1 lead time, (c) day 2 lead time and (d) day 3 lead time. Gray and black lines show the ensemble and corrected ensemble, respectively.