블로그

Jun 14, 2023

혼합: 유체 혼합 최적화

일본 연구진, 강화학습 기반 기술 채택

일본 연구자들은 층류 흐름 중 유체 혼합 과정을 연구하기 위해 강화 학습 기반 접근 방식을 채택했습니다.

도쿄이과대학

이미지: 산업 규모의 유체 혼합 공정은 최적화되지 않으면 에너지 소비와 비용이 많이 들 수 있습니다. 그러나 프로세스는 일반적으로 시행착오를 통해 진행됩니다. 이제 일본의 연구원들은 기계 학습을 활용하여 유체 혼합의 최적화 문제를 해결하고 산업용 유체 혼합 공정에 적용할 수 있는 방법의 잠재력을 강조하는 통찰력을 보여줍니다.더보기

크레딧: 도쿄 이과 대학의 이누비시 마사노부(Masanobu Inubishi)

유체 혼합은 많은 산업 및 화학 공정에서 중요한 구성 요소입니다. 예를 들어, 제약 혼합 및 화학 반응에는 균일한 유체 혼합이 필요할 수 있습니다. 이러한 혼합을 더 빠르고 더 적은 에너지로 달성하면 관련 비용이 크게 절감됩니다. 그러나 실제로 대부분의 혼합 프로세스는 수학적으로 최적화되지 않고 대신 시행착오 기반의 경험적 방법에 의존합니다. 난류를 사용하여 유체를 혼합하는 난류 혼합은 옵션이지만 지속하기 어렵거나(예: 마이크로 믹서에서) 혼합되는 재료를 손상시키므로(예: 생물 반응기 및 식품 혼합기에서) 문제가 있습니다.

대신 층류 흐름에 대해 최적화된 혼합을 달성할 수 있습니까? 이 질문에 답하기 위해 일본 연구진은 새로운 연구에서 기계 학습을 활용했습니다. Scientific Reports에 발표된 연구에서 팀은 지능형 에이전트가 (즉각적인 보상이 아닌) 누적 보상을 최대화하기 위해 환경에서 조치를 취하는 "강화 학습"(RL)이라는 접근 방식을 사용했습니다.

이누부시 마사노부(Masanobu Inubushi) 부교수는 “RL은 전역 시간 최적화 문제인 누적 보상을 최대화하기 때문에 효율적인 유체 혼합 문제를 해결하는 데 적합할 것으로 기대됩니다.”라고 설명합니다. , 해당 연구의 교신저자. "개인적으로는 기계학습 알고리즘을 맹목적으로 적용하기보다는 올바른 문제에 맞는 알고리즘을 찾는 것이 중요하다는 확신을 갖고 있습니다. 다행히 이번 연구에서는 이후 두 분야(유체 혼합과 강화학습)를 연결하는 데 성공했습니다. 물리적, 수학적 특성을 고려합니다." 이 연구에는 대학원생인 코니시 미키토 씨와 오사카 대학의 고토 스스무 교수의 기여가 포함되었습니다.

그러나 한 가지 주요 장애물이 팀을 기다리고 있었습니다. RL은 전역 최적화 문제에 적합하지만 고차원 상태 공간을 포함하는 시스템, 즉 설명을 위해 많은 수의 변수가 필요한 시스템에는 특히 적합하지 않습니다. 불행히도 유체 혼합은 바로 그러한 시스템이었습니다.

이 문제를 해결하기 위해 팀은 또 다른 최적화 문제의 공식화에 사용되는 접근 방식을 채택하여 유체 흐름에 대한 상태 공간 차원을 하나로 줄일 수 있었습니다. 간단히 말해서, 이제 단 하나의 매개변수만 사용하여 유체 운동을 설명할 수 있습니다!

RL 알고리즘은 일반적으로 결과가 부분적으로 무작위이고 부분적으로 의사결정자가 제어하는 ​​상황에서 의사결정을 위한 수학적 프레임워크인 "마르코프 의사결정 프로세스"(MDP)의 관점에서 공식화됩니다. 이 접근 방식을 사용하여 팀은 RL이 유체 혼합을 최적화하는 데 효과적이라는 것을 보여주었습니다.

Inubushi 박사는 "우리는 2차원 유체 혼합 문제에 대해 RL 기반 알고리즘을 테스트한 결과, 알고리즘이 사전 지식 없이 기하급수적으로 빠른 혼합으로 끝나는 효과적인 흐름 제어를 식별한다는 사실을 발견했습니다."라고 말했습니다. "이 효율적인 혼합의 기본 메커니즘은 동적 시스템 이론의 관점에서 고정점 주변의 흐름을 살펴봄으로써 설명되었습니다."

RL 방법의 또 다른 중요한 이점은 훈련된 "믹서"의 효과적인 전이 학습(얻은 지식을 다르지만 관련된 문제에 적용)이었습니다. 유체 혼합의 맥락에서 이는 특정 Péclet 수(혼합 과정에서 확산 속도에 대한 이류 속도의 비율)로 훈련된 믹서를 사용하여 다른 Péclet 수의 혼합 문제를 해결할 수 있음을 의미합니다. 이는 RL 알고리즘 훈련에 드는 시간과 비용을 크게 줄였습니다.