Для запуска параллельных расчетов основных программ пакета ANSYS на гибридном кластере было написано несколько скриптов, размещенных в общей директории (для гибридного кластера):
/mnt/rhel-6/submit/
Формат их использования (скрипты для ansys, cfx, fluent):
/mnt/rhel-6/submit/submit-ansys.sh <nodes> <cores_per_node> <input_file> <output_file> [work_dir]
/mnt/rhel-6/submit/submit-cfx.sh <nodes> <cores_per_node> <task> [work_dir]
/mnt/rhel-6/submit/submit-fluent.sh <nodes> <cores_per_node> <input_file> <output_file> [work_dir]
Они запускают расчеты на гибридном кластере. Здесь
<nodes> - требуемое число узлов для расчетов;
<cores_per_node> - требуемое число процессорных ядер на каждый узел;
<task> - файл задачи;
<input_file> - входной файл задачи (подобно <task>);
<output_file> - выходной файл задачи;
[work_dir] - парамтер, указывающий рабочую директорию. Он необязателен, в случае если вы скопируете скрипты запуска в свою home-диреткорию и запустите их оттуда, но если вы запускаете задачу с использованием скрипта в общей директории (/mnt/rhel-6), данный параметр следует указать.
Данные скрипты позволяют запустить указанные программы из пакета ANSYS, а так же могут быть использованы для ознакомления с запуском параллельных задач ANSYS. После запуска задачи в рабочей директории создается файл run_in_batch_<пакет>.sh (здесь <пакет> - ANSYS, CFX или FLUENT) . Он содержит список команд, которые выполнялись на кластере для запуска параллельных расчетов. На базе данного скрипта вы можете написать свой собственный для запуска параллельных расчетов на своей ВМ (в случае многоядерной ВМ). Разумеется, на своей ВМ вы можете воспользоваться и графическим интрфейсом ANSYS для выполнения этих же задач.
Примеры:
Рассмотрим пример для ANSYS.
/mnt/rhel-6/submit/submit-ansys.sh 2 2 /mnt/rhel-6/submit/examples/ansys/ansys/ansys_demo.inp ~/OUT ~/
Данная команда запустит расчеты ANSYS для файла ansys_demo.imp на 2 узлах, на каждом из которых будет задействовано по 2 ядра (итого 4 процессорных ядра). При запуске также будет выведена команда, которая запустила расчеты с использованием системы PBS.
Результаты расчетов будет содержать файл ~/OUT , также в директории ~/ (домашняя директория) появится файл run_in_batch_ANSYS.sh , который будет содержать команды, выполнявшиеся на кластере для запуска параллельных расчетов ANSYS. О нем уже говорилось выше.
Важно! По умолчанию на гибридном кластере используется 15 версия ANSYS. При отсутствии свободных лицензий, вы можете получить ошибку в выходном файле. В таком случае следует скопировать скрипт submit-ansys.sh в домашнюю директорию и заменить строку
ANSYS_BIN="/mnt/rhel-6/ansys_inc/v150/ansys/bin/ansys150" на ANSYS_BIN="/mnt/rhel-6/ansys_inc/v140/ansys/bin/ansys140"
Таким образом будет запущена 14 версия ANSYS . При отсутствии свободных лицензий для 14 версии, следует запускать задачу с использованием одного процессора на одной ноде.
Теперь рассмотрим пример для CFX.
/mnt/rhel-6/submit/submit-cfx.sh 2 2 /mnt/rhel-6/submit/examples/ansys/cfx/Benchmark.def ~/
Данная команда запустит расчеты CFX для файла Benchmark.def на 2 узлах, на каждом из которых будет задействовано по 2 ядра (итого 4 процесснорных ядра). При запуске также будет выведена команда, которая запустила расчеты с использованием системы PBS.
Результаты расчетов будет содержать файл Benchmark_001.res (лог-файл расчетов - Benchmark_001.out), также в директории ~/ (домашняя диретктория) появится файл run_in_batch_CFX.sh , который будет содержать команды, выполнявшиеся на кластере для запуска параллельных расчетов CFX. О нем уже говорилось выше.
Важно! По умолчанию на гибридном кластере используется 15 версия CFX. При отсутствии свободных лицензий, вы можете получить ошибку в выходном файле. В таком случае следует скопировать скрипт submit-cfx.sh в домашнюю директорию и заменить строку
SOLVER="/mnt/rhel-6/ansys_inc/v150/CFX/bin/cfx5solve" на SOLVER="/mnt/rhel-6/ansys_inc/v140/CFX/bin/cfx5solve"
Таким образом будет запущена 14 версия CFX . При отсутствии свободных лицензий для 14 версии, следует запускать задачу с использованием одного процессора на одной ноде.
Теперь рассмотрим пример для FLUENT.
cp -r /mnt/rhel-6/submit/examples/ansys/fluent/example_3ddp/ ~/
/mnt/rhel-6/submit/submit-fluent.sh 2 2 ~/example_3ddp/3d.cas ~/OUT ~/
Сначала мы копируем пример для FLUENT в домашний каталог (опция "-r" используется для копирования целого каталога). Следующая команда запускает расчеты FLUENT для файла 3d.cas на 2 узлах, на каждом из которых будет задействовано по 2 ядра (итого 4 процесснорных ядра). При запуске также будет выведена команда, которая запустила расчеты с использованием системы PBS.
Результаты расчетов будет содержать директория ~/example_3ddp/ (лог-файл расчетов - файл ~/OUT), также в директории ~/ (домашняя диретктория) появится файл run_in_batch_FLUENT.sh , который будет содержать команды, выполнявшиеся на кластере для запуска параллельных расчетов FLUENT. О нем уже говорилось выше.
Важно! По умолчанию на гибридном кластере используется 15 версия FLUENT. При отсутствии свободных лицензий, вы можете получить ошибку в выходном файле. В таком случае следует скопировать скрипт submit-fluent.sh в домашнюю директорию и заменить строку
FLUENT_BIN="/mnt/rhel-6/ansys_inc/v150/fluent/bin/fluent" на FLUENT_BIN="/mnt/rhel-6/ansys_inc/v140/fluent/bin/fluent"
Таким образом будет запущена 14 версия FLUENT . При отсутствии свободных лицензий для 14 версии, следует запускать задачу с использованием одного процессора на одной ноде.
