Итераторы

Функция range

Хотя в языке Python нет классического цикла for, но он легко моделируется циклом for- in, используя метод range, создающий коллекцию целых чисел, играющую роль индексов классического цикла for. Фактически метод range создает итератор, а оператор for - in выполняет итерирование этой коллекции.

Приведу простой пример, в котором на печать выводятся элементы, стоящие на нечетных местах в упорядоченном списке:

def test2():
    for i in range(len(L)):
        if i % 2 == 0:
            print(L[i], end = ', ') 
    print() 

Результаты работы этого теста:

Функция map

Не только функцию range, но и многие полезные функции Python можно рассматривать как итераторы. Функция map позволяет применить некоторую функцию, заданную в качестве первого аргумента, к итерируемым объектам, представляющих последующие аргументы функции map. Вот пример использования:

def test3():
    L = [3, 5, 7, 9]
    L1 = [2, 4, 8]
    for item in map(lambda x, y : 2 * x + y, L, L1):
        print(item, end = ', ')
    print()

Результаты работы этого теста:

Функция map, как и у ряд других функций, представляющих итераторы, обладает несомненными достоинствами:

Давайте погрузимся в детали, связанные с функцией map. Приведу справку по классу map:

Поясню приведенную справку.

Класс map содержит функцию map, первым аргументом которой является функция в общем случае от n аргументов, следующие n аргументов - это итерируемые объекты, содержащие коллекции значений каждого из аргументов. Функция map создает итератор, который вычисляет значение функции, заданной в первом аргументе, используя значения каждого итерируемого объекта. Выполнение прекращается, когда исчерпан кратчайший итерируемый объект.

Важно заметить, что класс map реализует интерфейс, требуемый для итератора. Для этого необходимо и достаточно иметь два встроенных метода: __iter__ и __next__. Первый из этих методов возвращает ссылку на класс, позволяя создать объект итератор. Второй - выполняет итерирование, позволяя получить очередной элемент, создаваемый функцией map.

Подобно функции map устроены и другие функции, возвращающие итератор.

Функция zip

Функция zip позволяет создавать кортежи итерируемых объектов. В цикле можно задать некоторое выражение, вычисляемое на кортежах. Приведу пример использования функции zip для построения таблицы истинности логической функции:

def test5():
    """
    таблица истинности логической функции
    """
    L1 =[0, 0, 0, 0, 1, 1, 1 ,1]
    L2 =[0, 0, 1, 1, 0, 0, 1 ,1]
    L3 =[0, 1, 0, 1, 0, 1, 0 ,1]
    print (list(zip(L1, L2, L3)))
    for (x, y, z) in zip(L1, L2, L3):
        print(' ', x and y or z, end = '         ' )
    print()

Результаты работы этого теста:

Функция filter

Функция filter позволяет выбрать элементы из итерируемого объекта, используя фильтр, заданный логической функцией:

def test6():
    r = range(30)
    for number in filter(lambda x : x % 3 == 0, r):
        print(number, end = ' ')
    print()

Результаты работы этого теста:

Функция reduce

Функция reduce, использует итератор для получения некоторой обобщенной характеристики Т итерируемого объекта, такой как сумма, произведение, максимальный или минимальный элемент. Для вычисления Т задается бинарная операция, которая выполняется в процессе итерирования над Т и очередным элементом. Начальное значение Т либо задается, либо по умолчанию используется значение первого элемента итерируемого объекта. Приведу пример вычисления максимального элемента, предполагая, что на элементах определена операция сравнения ">" (больше).

def test7():
    from functools import reduce
    t = (7, 12, 5, 11, 17, 6)
    s = 'Уж небо осенью дышало'
    n = reduce(max, t )
    sym = reduce(max, s)
    print ('максимальное число = ', n)
    print( 'буква с максимальным кодом - ', sym)

Результаты работы этого теста:

Итератор в языке Python. Определение

Давайте попробуем более точно определить, что же такое итератор в языке Python. Вначале определим понятие итерируемого класса.

Итерируемый класс - это класс, реализация которого включает два метода - __iter__ и __next__. Эти два метода представляют интерфейс итератора. Пусть Т - объект итерируемого класса.

Итератор класса - это объект класса, который создается вызовом метода iter(T). Этот вызов эквивалентен вызову Т.__iter__().

Пусть It = iter(T) - объект итератор. Тогда вызов next(It), эквивалентный вызову It.__next__(), возвращает очередной элемент итерируемой коллекции и выбрасывает исключение StopIteration, если коллекция исчерпана.

Итерируемый класс позволяет создать итератор и, следовательно, организовать последовательный доступ к элементам, генерируемых при вызове метода __next__. Оператор цикла for-in позволяет работать с любым итератором.

Как мы видели, все встроенные типы данных являются итерируемыми классами и обладают соответствующими итераторами. Ряд встроенных функций - map и другие - являются функциями итерируемого класса и создают соответствующие итераторы.

Создавая собственный класс нетрудно сделать его итерируемым, для этого достаточно реализовать в классе интерфейс итератора - методы __iter__ и __next__.

Пример создания итерируемого класса

Для того чтобы создаваемый класс был итерируемым необходимо и достаточно в этом классе реализовать интерфейс итератора. Метод __iter__ реализуется достаточно просто. Основная трудность обычно связана с реализацией метода __next__, который должен генерировать итерируемую последовательность. Конкретный алгоритм зависит от задачи, для решения которой создан класс. Возможны следующие схемы создания итерируемой последовательности:

Построим класс, следуя первой схеме. В классе создадим атрибут класса, общий для всех экземпляров, который содержит коллекцию имен. Атрибут экземпляра класса будет задавать индекс элемента в этой коллекции с нулевым значением по умолчанию. Метод __next__, используя эти атрибуты, будет выполнять итерирование по коллекции имен. Приведу реализацию этой идеи:

 class Names(object):
    """
    итератор, возвращающий имена из списка
    """
    names = ('Анна', 'Борис', 'Виктор', 'Галина', 'Дмитрий')
    def __init__(self):
        self.index = 0
    def __iter__(self):
        
        return self
    def __next__(self):
        if self.index < len(self.names):
            name = self.names[self.index]
            self.index +=1
            return name
        else:
     raise StopIteration

Поскольку в классе не предполагается изменение коллекции имен, то атрибут names задан кортежем - неизменяемым типом данных. Атрибут index задается в конструкторе класса, получая по умолчанию значение ноль. Клиент класса не должен изменять значение этого атрибута. Метод интерфейса итератора __iter__ устроен совсем просто, - он возвращает ссылку на объект класса. Второй метод интерфейса __next__ возвращает имя из коллекции, используя атрибут index, одновременно увеличивая на единицу значение этого атрибута. Исключительная ситуация StopIteration возбуждается при исчерпании коллекции имен. Класс Names при таком определении является итерируемым классом. Построим тест, демонстрирующий возможность работы с объектами этого класса как итерируемыми объектами:

def test8():
    from Names import Names
    it = Names()
    for name in it:
        print(name, end = ' ')    
    print()
    #it = Names()
    for name in it:
        print(name, end = ' ')    
    print()

Вот как выглядят результаты работы этого теста:

Важно заметить, что первое выполнение оператора цикла for выполняет итерирование и получает имена должным образом. Но второе выполнение этого оператора итерирование не выполняет и ничего не выводит на печать. Это ошибка?

Совсем нет. Так работает итератор в Python . При первом выполнении цикла for коллекция имен исчерпана, начальная ситуаций автоматически не восстанавливается, так что когда начинает выполняться второй раз оператор цикла for, то уже при первом вызове метода __next__ возникает исключительная ситуация StopIteration и цикл for прекращает работу. Чтобы повторно выполнить итерирование нужно создать итератор заново. Если раскомментровать оператор, повторно создающий объект класса, то все заработает должным образом:

Эту проблему можно решить и по-другому, изменив метод, создающий итератор. Давайте перенесем создание атрибута index из конструктора класса в метод __iter__. Тогда восстановление начального состояния итератора будет выполняться при создании итератора, так что клиенту не нужно будет повторно создавать объект, реанимируя итератор.

Приведу еще тест, в котором создаются два объекта класса и для каждого выполняется итерирование:

def test9():
    from Names import Names
    it = Names()
    for name in it:
        print(name, end = ' ')    
    print()это разные объекты
    it1 = Names()
    iter1 = iter(it1)
    iter2 = iter(it1)
    for name in iter1:
        print(name, end = ' ')    
    print()
    for name in iter2:
        print(name, end = ' ')    
    print()

Заметьте, для второго объекта явно создаются объекты итераторы - iter1 и iter2. Это разные объекты или два имени одного объекта?

Давайте проанализируем результаты выполнения теста:

Имена it и it1 - это имена разных объектов и для каждого из них выполняется итерирование. Имена iter1 и iter2 - это имена одного объекта, поэтому, когда закончилось итерирование для итератора iter1, оно закончилось и для итератора iter2.

На этом закончу лекцию об итераторах, хотя разговор о них продолжится в следующей лекции, где будем рассматривать генераторы.