Интерфейс передачи сообщений MPI

Коллективный обмен

Участниками коллективного обмена являются более двух процессов.

Широковещательная рассылка

int MPI_Bcast(void *buffer, int count, MPI_Datatype datatype, int root, MPI_Comm comm)
MPI_BCAST(BUFFER, COUNT, DATATYPE, ROOT, COMM, IERR)

Параметры этой процедуры одновременно являются входными и выходными:

• buffer - адрес буфера;
• count - количество элементов данных в сообщении;
• datatype - тип данных MPI ;
• root - ранг главного процесса, выполняющего широковещательную рассылку;
• comm - коммуникатор.

Схема распределения данных представлена на рис. 3.4.

Рис. 3.4. Распределение данных при широковещательной рассылке

Синхронизация с помощью "барьера" (рис. 3.5)

int MPI_Barrier(MPI_Comm comm)
MPI_BARRIER(COMM, IERR)

Рис. 3.5. Синхронизация с "барьером"

При синхронизации с барьером выполнение каждого процесса из данного коммуникатора приостанавливается до тех пор, пока все процессы не выполнят вызов процедуры синхронизации MPI_Barrier.

Распределение данных

int MPI_Scatter(void *sendbuf,  int sendcount, MPI_Datatype sendtype, void *rcvbuf,  int rcvcount, 
  MPI_Datatype rcvtype,  int root, MPI_Comm comm)
MPI_SCATTER(SENDBUF,SENDCOUNT, SENDTYPE, RCVBUF, RCVCOUNT,   
RCVTYPE, ROOT, COMM, IERR)

Входные параметры:

• sendbuf - адрес буфера передачи;
• sendcount - количество элементов, пересылаемых каждому процессу (но не суммарное количество пересылаемых элементов);
• sendtype - тип передаваемых данных;
• rcvcount - количество элементов в буфере приема;
• rcvtype - тип принимаемых данных;
• root - ранг передающего процесса;
• comm - коммуникатор.

Выходной параметр:

• rcvbuf - адрес буфера приема.

Процесс с рангом root распределяет содержимое буфера передачи sendbuf среди всех процессов (рис. 3.6). Содержимое буфера передачи разбивается на несколько фрагментов, каждый из которых содержит sendcount элементов. Первый фрагмент передается процессу 0, второй процессу 1 и т. д. Аргументы send имеют значение только на стороне процесса root.

Рис. 3.6. Распределение данных при выполнении операции Scatter

Сбор сообщений от остальных процессов в буфер главной задачи

int MPI_Gather(void *sendbuf,  int sendcount, MPI_Datatype sendtype, void *rcvbuf,  
  int rcvcount, MPI_Datatype rcvtype,  int root, MPI_Comm comm)

MPI_GATHER(SENDBUF, SENDCOUNT, SENDTYPE, RCVBUF, RCVCOUNT, RCVTYPE, ROOT, COMM, IERR)

Каждый процесс в коммуникаторе comm пересылает содержимое буфера передачи sendbuf процессу с рангом root. Процесс root "склеивает" полученные данные в буфере приема (рис. 3.7). Порядок склейки определяется рангами процессов, то есть в результирующем наборе после данных от процесса 0 следуют данные от процесса 1, затем данные от процесса 2 и т. д. Аргументы rcvbuf, rcvcount и rcvtype играют роль только на стороне главного процесса. Аргумент rcvcount указывает количество элементов данных, полученных от каждого процесса (но не суммарное их количество). При вызове подпрограмм MPI_Scatter и MPI_Gather из разных процессов следует использовать общий главный процесс.

Рис. 3.7. Сбор данных при выполнении операции Gather

Векторная подпрограмма распределения данных

int MPI_Scatterv(void *sendbuf,  int *sendcounts,  int *displs, 
	MPI_Datatype sendtype, void *rcvbuf, int rcvcount, 
	MPI_Datatype rcvtype,  int root, MPI_Comm comm)

MPI_SCATTERV(SENDBUF, SENDCOUNTS, DISPLS, SENDTYPE, RCVBUF, RCVCOUNT, RCVTYPE, ROOT, COMM, IERR)

Входные параметры:

• sendbuf - адрес буфера передачи;
• sendcounts - целочисленный одномерный массив, содержащий количество элементов, передаваемых каждому процессу (индекс равен рангу адресата). Его длина равна количеству процессов в коммуникаторе;
• displs - целочисленный массив, длина которого равна количеству процессов в коммуникаторе. Элемент с индексом i задает смещение относительно начала буфера передачи. Ранг адресата равен значению индекса i ;
• sendtype - тип данных в буфере передачи;
• rcvcount - количество элементов в буфере приема;
• rcvtype - тип данных в буфере приема;
• root - ранг передающего процесса;
• comm - коммуникатор.

Выходной параметр:

• rcvbuf - адрес буфера приема.

Сбор данных от всех процессов в заданном коммуникаторе и запись их в буфер приема с указанным смещением

int MPI_Gatherv(void *sendbuf,  int sendcount, MPI_Datatype sendtype, void *recvbuf,  
  int *recvcounts,  int *displs, MPI_Datatype recvtype, int root, MPI_Comm comm)

MPI_GATHERV(SENDBUF, SENDCOUNT, SENDTYPE, RECVBUF, RECVCOUNTS, 
	DISPLS, RECVTYPE, ROOT, COMM, IERR)

Список параметров у этой подпрограммы похож на список параметров подпрограммы MPI_Scatterv. В обменах, выполняемых подпрограммами MPI_Allgather и MPI_Alltoall, нет главного процесса. Детали отправки и приема важны для всех процессов, участвующих в обмене.

Сбор данных от всех процессов и распределение их всем процессам

int MPI_Allgather(void *sendbuf,  int sendcount, MPI_Datatype sendtype, void *rcvbuf,  
  int rcvcount, MPI_Datatype rcvtype, MPI_Comm comm)

MPI_ALLGATHER(SENDBUF, SENDCOUNT, SENDTYPE, RCVBUF, RCVCOUNT, RCVTYPE, COMM, IERR)

Входные параметры:

• sendbuf - начальный адрес буфера передачи;
• sendcount - количество элементов в буфере передачи;
• sendtype - тип передаваемых данных;
• rcvcount - количество элементов, полученных от каждого процесса;
• rcvtype - тип данных в буфере приема;
• comm - коммуникатор.

Выходной параметр:

• rcvbuf - адрес буфера приема.

Блок данных, переданный от j-го процесса, принимается каждым процессом и размещается в j-м блоке буфера приема recvbuf (рис. 3.8).

Рис. 3.8. Сбор и распределение данных при выполнении операции Allgather

Пересылка данных по схеме "каждый - всем"

int MPI_Alltoall(void *sendbuf,  int sendcount, MPI_Datatype sendtype, 
	void *rcvbuf,  int rcvcount, MPI_Datatype rcvtype, MPI_Comm comm)

MPI_ALLTOALL(SENDBUF, SENDCOUNT, SENDTYPE, RCVBUF, RCVCOUNT, RCVTYPE, COMM, IERR)

Входные параметры:

• sendbuf - начальный адрес буфера передачи;
• sendcount - количество элементов данных, пересылаемых каждому процессу;
• sendtype - тип данных в буфере передачи;
• rcvcount - количество элементов данных, принимаемых от каждого процесса;
• rcvtype - тип принимаемых данных;
• comm - коммуникатор.

Выходной параметр:

• rcvbuf - адрес буфера приема.

Векторными версиями MPI_Allgather и MPI_Alltoall являются подпрограммы MPI_Allgatherv и MPI_Alltoallv.

Сбор данных от всех процессов и пересылка их всем процессам

int MPI_Allgatherv(void *sendbuf,  int sendcount, MPI_Datatype sendtype, 
	void *rcvbuf, int *rcvcounts, int *displs, MPI_Datatype rcvtype, MPI_Comm comm)

MPI_ALLGATHERV(SENDBUF, SENDCOUNT, SENDTYPE, RCVBUF, RCVCOUNTS, DISPLS, RCVTYPE, COMM, IERR)

Ее параметры совпадают с параметрами подпрограммы MPI_Allgather, за исключением дополнительного входного параметра displs. Это целочисленный одномерный массив, количество элементов в котором равно количеству процессов в коммуникаторе. Элемент массива с индексом i задает смещение относительно начала буфера приема recvbuf, в котором располагаются данные, принимаемые от процесса i. Блок данных, переданный от j-го процесса, принимается каждым процессом и размещается в j-м блоке буфера приема.

Пересылка данных от всех процессов всем процессам со смещением

int MPI_Alltoallv(void *sendbuf,  int *sendcounts,  int *sdispls, 
	MPI_Datatype sendtype, void *rcvbuf,  int *rcvcounts,  int *rdispls, 
	MPI_Datatype rcvtype, MPI_Comm comm)
MPI_ALLTOALLV(SENDBUF, SENDCOUNTS, SDISPLS, SENDTYPE, RCVBUF, RCVCOUNTS, RDISPLS, RCVTYPE, COMM, IERR)

Ее параметры аналогичны параметрам подпрограммы MPI_Alltoall, кроме двух дополнительных параметров:

• sdispls - целочисленный массив, количество элементов в котором равно количеству процессов в коммуникаторе. Элемент j задает смещение относительно начала буфера, из которого данные передаются j -му процессу.
• rdispls - целочисленный массив, количество элементов в котором равно количеству процессов в коммуникаторе. Элемент i задает смещение относительно начала буфера, в который принимается сообщение от i -го процесса.

Операция приведения, результат которой передается одному процессу

int MPI_Reduce(void *buf, void *result, int count, 
	MPI_Datatype datatype, MPI_Op op, int root, MPI_Comm comm)

MPI_REDUCE(BUF, RESULT, COUNT, DATATYPE, OP, ROOT, COMM, IERR)

Входные параметры:

• buf - адрес буфера передачи;
• count - количество элементов в буфере передачи;
• datatype - тип данных в буфере передачи;
• op - операция приведения;
• root - ранг главного процесса;
• comm - коммуникатор.

MPI_Reduce применяет операцию приведения к операндам из buf, а результат каждой операции помещается в буфер результата result (рис. 3.9). MPI_Reduce должна вызываться всеми процессами в коммуникаторе comm, а аргументы count, datatype и op в этих вызовах должны совпадать.

Рис. 3.9. Распределение данных при выполнении операции приведения

Предопределенные операции приведения приведены в табл. 3.3.

Определение собственных глобальных операций

int MPI_Op_create(MPI_User_function *function, int commute, MPI_Op *op)
MPI_OP_CREATE(FUNCTION, COMMUTE, OP, IERR)

Входные параметры:

• function - пользовательская функция;
• commute - флаг, которому присваивается значение "истина", если операция коммутативна (результат не зависит от порядка операндов).

Описание типа пользовательской функции выглядит следующим образом:

typedef void (MPI_User_function)(void *a, void *b, int *len, MPI_Datatype *dtype)

Здесь операция определяется так:

b[I] = a[I] op b[I] 
для I = 0,  ...,   len-1.

Удаление пользовательской функции

int MPI_Op_free(MPI_Op *op)
MPI_OP_FREE(OP, IERR)

После завершения вызова op присваивается значение MPI_OP_NULL.

Одновременные сбор и распределение данных

int MPI_Reduce_scatter(void *sendbuf, void *rcvbuf, int *rcvcounts, 
MPI_Datatype datatype, MPI_Op op, MPI_Comm comm)
MPI_REDUCE_SCATTER(SENDBUF,RCVBUF,RCVCOUNTS,DATATYPE,OP,COMM, IERR)

Входные параметры:

• sendbuf - стартовый адрес буфера приема;
• rcvcounts - целочисленный одномерный массив, который задает количество элементов в результирующем массиве, распределяемом каждому процессу. Этот массив должен быть одинаковым во всех процессах, вызывающих данную подпрограмму;
• datatype - тип данных в буфере приема;
• op - операция;
• comm - коммуникатор.

Выходной параметр:

• rcvbuf - стартовый адрес буфера приема.

Каждая задача получает не весь результирующий массив, а его часть.

Сбор данных от всех процессов и сохранение результата операции приведения в результирующем буфере каждого процесса

int MPI_Allreduce(void *sendbuf, void *rcvbuf,  int count, 
MPI_Datatype datatype, MPI_Op op, MPI_Comm comm)

MPI_ALLREDUCE(SENDBUF, RCVBUF, COUNT, DATATYPE, OP, COMM, IERR)

Входные параметры:

• sendbuf - начальный адрес буфера передачи;
• count - количество элементов в буфере передачи;
• datatype - тип передаваемых данных;
• op - операция приведения;
• comm - коммуникатор. Выходной параметр:
• rcvbuf - стартовый адрес буфера приема.

При аварийном завершении подпрограмма может возвращать код ошибки MPI_ERR_OP (некорректная операция). Это происходит, если применяется операция, которая не является предопределенной и которая не создана предшествующим вызовом подпрограммы MPI_Op_create.

Операции сканирования (частичной редукции)

int MPI_Scan(void *sendbuf,  void *rcvbuf,  int count, MPI_Datatype datatype, MPI_Op op, MPI_Comm comm)

MPI_SCAN(SENDBUF, RCVBUF, COUNT, DATATYPE, OP, COMM, IERR)

Входные параметры:

• sendbuf - начальный адрес буфера передачи;
• count - количество элементов во входном буфере;
• datatype - тип данных во входном буфере;
• op - операция;
• comm - коммуникатор.

Выходной параметр:

• rcvbuf - стартовый адрес буфера приема.