Синдикация и аггрегирование веб-контента. Улучшение usabilty веб-контента

Пользователь может получать информацию с сайта без необходимости его посещения несколькими способами.

Во-первых, можно воспользоваться RSS-агрегатором, подписавшись на RSS-поток, который распространяется с сайта. Обычно таким образом распространяются новости и уведомления, обновления о изменении или загрузке файлов на сайте. Полученная информация "складируется" в базе данных RSS-агрегатором (если это не онлайн-сервис), а сам RSS не очень удобен для получения оперативных обновлений (например, когда в уже опубликованную новость вносятся дополнения или изменения).

Второй способ - использование специальных программ, отслеживающих изменения кода сайта (например для автоматизированного чтения форумов и групп новостей). Такие решения слабо распространены и недостаточно популярны.

Третий вариант предполагает почтовые рассылки в HTML-формате. Они популярны для составления пресс-релизов и различных маркетинговых материалов, однако оперативно получать данные таким способом невозможно (при этом создается высокая нагрузка на почтовые серверы, характерны задержки в прохождении почты). Кроме того, этот вариант является уязвимым для спама.

Начиная с IE8 появляется четвертый, более совершенный и современный инструмент, воплощающий в себе лучшее из первых двух способов - веб -фрагменты (webslices). Под веб-фрагментом понимается специальный веб-элемент, включенный в код страницы, позволяющий представлять контент в виде небольшого блока с динамическим содержанием.

Хотя RSS и веб-фрагменты основаны на Windows RSS Platform, между ними есть принципиальные различия:

Таким образом, если пользователя интересует история событий, то лучше пользоваться RSS-каналами, если только текущая информация - веб-фрагментами.

Веб-синдикация на основе RSS

Веб-синдикация - форма синдикации при которой содержимое веб-сайта предоставляется другим многочисленным веб-сайтам. Иначе говоря, веб-синдикация означает создание доступных с сайта веб-потоков (feed), предоставляющих всем пользователям в форме краткой сводки информацию о новом содержимом, появившемся на сайте (это могут быть новости, сообщения из форума и др.).

Веб-поток - формат данных, используемый для предоставления пользователям часто обновляемого контента. Распространители контента объединяют (синдицируют) веб-потоки, давая пользователям возможность подписаться на них. Другое название для веб-потока - синдицированный поток. Создание набора веб-потоков, которые доступны одновременно в одном месте называется агрегированием. Для этого используются специальные агрегаторы.

Агрегатор потоков (feed aggregator) - клиентское веб-приложение, собирающее синдицированный веб-контент такой как новостные заголовки, блоги, подкасты и другие в одном месте для более удобного просмотра.

Для принимающего сайта веб-синдикация является эффективным способом размещения более исчерпывающей и своевременной информации на своих страницах.

Для сайта передающего синдицируемую информацию выгода заключается в большей степени его представленности среди различных он-лайн платформ. Кроме того, порождается дополнительный трафик, что, по-сути, является простой и бесплатной формой рекламы сайта в сети веб.

Взаимодействие веб-потоков и агрегаторов происходит в следующем порядке:

Контент веб-потока обычно представляет собой веб-страницы, гиперссылки либо мультимедиа. Извлечение контента с сайта в форме веб-потока обычно производится средствами самого веб-сайта. Однако, не все веб-сайты могут иметь веб-поток. В этом случае могут быть использованы средства сторонних агентов. Веб-поток - это веб-документ, обычно в XML формате, содержащий тематические элементы, содержащие ссылки на более полную версию материала. Является удобным инструментом для доставки структурированной информации. Пользователи могут подписываться на веб-потоки с помощью агрегаторов или программ для чтения потоков, которые комбинируют содержимое нескольких веб-потоков для отображения на одной странице (или нескольких последовательных страницах).

Некоторые из веб-браузеров содержат встроенные возможности для аггрегирования потоков. Это делается путем простого ввода URL веб-потока или кликом на гиперссылке в браузере. Формат веб-потоков не предназначен для непосредственного чтения пользователем, поскольку позволяет автоматически переносить контент с сайт на сайт. Для представления информации из веб-потока обычно используются 2 формата: RSS и Atom.

Если сравнивать веб-поток с более традиционной почтовой технологией доставки часто обновляемой информации, то можно указать на следующие преимущества первого:

Агрегатор позволяет объединить информацию из разных потоков в одном окне веб-браузера или веб-приложения. Такое приложение называется RSS-каналом, новостной лентой, агрегатором потоков или поисковым агрегатором. Подкастинг-агрегаторы могут автоматически загружать медиа-файлы. Объединенный контент агрегатор получает и интерпретирует обычно в формате RSS или других форматах, основанных на XML, например RDF/XML или Atom. Наиболее развитые методы аггрегирования веб-потоков реализуются на основе технологий AJAX и XML компонентов - веб-виджетов (web widgets).

Многие языки программирования имеют библиотеки функций, позволяющие загружать, обрабатывать, генерировать и выполнять удаленную загрузку каналов. Например в Perl имеется поддержка нескольких библиотек в пространстве имен XML::RSS

RSS

RSS - семейство XML-форматов, предназначенных для описания лент новостей, анонсов статей, изменений в блогах и т. п.

В разных версиях аббревиатура RSS имела разные расшифровки:

Из истории формата.

Первой открытой официальной версией RSS стала версия 0.90. Формат был основан на RDF (Resource Description Framework - стандарт схемы описания потоков) и многим показался слишком сложным, после чего появилась упрощённая версия - 0.91.

В 2000 году произошло разделение формата:

Из-за существования нескольких различных версий формата RSS-каналов программы-агрегаторы должны уметь работать со всеми вариантами, что создаёт определенные трудности их разработчикам. Проблемы совместимости возникают также при вставке в RSS-описания небольших HTML-фрагментов, которые в одних случаях оформляются как CDATA узлы, а в других - как HTML-кодированные PCDATA узлы. Существуют проблемы с различными форматами представления дат и метаданных.

Микроформаты

Микроформаты (англ. microformats) - это способ семантической разметки сведений о разнообразных сущностях (событиях, организациях, людях, товарах и др.) на веб-страницах, используя стандартные элементы языка HTML (XHTML).

Пользователь-человек может воспринимать страницу с размеченным микроформатом как обычную веб-страницу (через веб-браузер); в то же время программы-обработчики способны извлечь из такой страницы структурированную информацию, следуя определенным соглашениям.

Поскольку микроформаты основаны на уже существующих стандартах (таких, как HTML и XHTML), их легко добавлять на существующие страницы в WWW.

При использовании микроформатов к существующей HTML-разметке добавляются новые составляющие, наполненные особым, заранее определённым смыслом. Например, с помощью атрибута class можно обозначить смысл того или иного HTML-элемента на странице (этот атрибут определён для всех элементов). Таким образом, разработчики приходят к соглашению об использовании определённых значений атрибутов (в том числе class) для разметки определённых фрагментов информации. В дальнейшем такую разметку можно обрабатывать машинными средствами.

Для разметки микроформатами подходят любые элементы HTML, но особое значение придаётся элементам, которые не имеют собственного, стандартного семантического значения - div и span. Из атрибутов в настоящее время используются в основном следующие:

Каждый из микроформатов предназначен для решения определенной задачи. Наиболее широко используются следующие микроформаты:

Веб-фрагменты (web-slices)

Основой веб-фрагмента является микроформат hAtom с несколькими дополнительными свойствами. В самом веб-фрагменте используется простая семантическая разметка HTML для представления части веб-страницы, на которую можно подписаться. Заметки можно добавлять прямо в содержимое HTML-страницы.

Веб-фрагменты выполняют четыре основные функции:

Чтобы обнаружить веб-фрагмент, пользователи помещают на него указатель мыши; при этом вызывается функция обнаружения веб-фрагмента в документе.

Семантическая веб-сеть

Семантическая веб-сеть (Semantic Web) - часть глобальной концепции развития сети Интернет, целью которой является реализация возможности машинной обработки информации, доступной в сети WWW. Основной акцент в этой концепции делается на работе с метаданными, однозначно характеризующими свойства и содержание ресурсов WWW, вместо используемого в настоящее время текстового анализа документов.

Термин был введен Тимом Бернерсом-Ли в мае 2001 года.

В семантической веб-сети предполагается повсеместное использование

Концепция семантической веб-сети была принята и продвигается W3С. Для её внедрения предполагается создание сети документов, содержащих метаданные о ресурсах WWW, и существующей параллельно с ними. Тогда как сами ресурсы предназначены для восприятия человеком, метаданные используются машинами (поисковыми роботами и другими интеллектуальными агентами) для получения однозначной информации о свойствах этих ресурсов с помощью механизмов логического вывода.

Техническую часть семантической паутины составляет семейство стандартов на языки описания, включающее XML, XML Schema, RDF, RDF Schema, OWL и др. Необходимость описания метаданных так или иначе приводит к дублированию информации. Каждый документ должен быть создан в двух экземплярах: размеченным для чтения людьми, а также в машинно-ориентированном формате.

Онтология

Онтология - это попытка всеобъемлющей и детальной формализации некоторой области знаний с помощью концептуальной схемы. Обычно такая схема состоит из иерархической структуры данных, содержащей все релевантные классы объектов, их связи и правила (теоремы, ограничения), принятые в этой области.

Современные онтологии обычно состоят из экземпляров, понятий, атрибутов и отношений.

Для описания онтологий Веб был разработан специальный язык - OWL (Web Ontology Language), построенный на основе XML. Язык OWL может быть использован для описания классов и отношений между ними. В основе языка - представление действительности в модели данных "объект - свойство". Язык применим не только для описания веб-страниц, но и любых объектов действительности и рассматривается в качестве одной из фундаментальных технологий, необходимых для построения Семантической веб-сети.

Семантические веб-сервисы

В то время как совокупность ресурсов и их метаданных можно считать статической частью семантической паутины, её динамическую часть представляют семантические веб-сервисы - законченные элементы программной логики с однозначно описанной семантикой, доступные через Веб и пригодные для поиска, композиции и выполнения.

Технически, семантический веб-сервис отличается от обычного веб-сервиса наличием не только описания интерфейса (обычно на языке WSDL) в терминах типов данных, передаваемых сервису, возвращаемых значений и генерируемых ошибок, но и наличием семантического описания всех его характеристик.

Потенциальная выгода от использования семантических веб-сервисов заключается в возможности автоматического поиска (а также композиции) программными агентами подходящих сервисов для решения поставленных задач.

Тем не менее, сложность этой задачи в её общей формулировке пока позволяет добиваться некоторых положительных результатов только в узкоспециализированных отраслях, явным образом выигрывающих от внедрения сервисно-ориентированной архитектуры, например в интеграции корпоративных приложений.

Каждый веб-фрагмент, обнаруженный браузером IE8, добавляется в список кнопки "Обнаружение веб-канала" , расположенной на панели команд. Веб-страница может включать до 100 веб-фрагментов, но только 20 из них могут появляться одновременно в списке кнопки "Обнаружение веб-канала". Задавая веб-фрагмент по умолчанию, можно указать, какой веб-фрагмент должен появляться в верхней строке списка.

Если пользователь подписывается на веб-фрагмент, Internet Explorer добавляет его на панель "Избранное".

Чтобы получать уведомления об обновлениях после подписки на веб-фрагмент, пользователю необходимо сначала добавить веб-фрагмент на панель "Избранное". После оформления подписки подсистема загрузки веб-каналов периодически обновляет веб-фрагмент, используя информацию с веб-сайта. Если IE8 обнаруживает изменение, текст кнопки веб-фрагмента выделяется полужирным, чтобы уведомить пользователя.

По умолчанию в Internet Explorer используется рекомендуемый интервал обновления, указанный издателем веб-фрагмента в элементе свойство ttl, если такой элемент существует; в противном случае обновления выполняются с интервалом по умолчанию для канала, который обычно составляет 24 часа. Пользователи могут либо настроить частоту обновления в диалоговом окне свойств веб-фрагмента, либо в любое время обновить кэшированный веб-фрагмент, нажав кнопку "Обновить" в окне предварительного просмотра.

Для просмотра веб-фрагмента пользователю следует нажать кнопку соответствующего веб-фрагмента на панели "Избранное". В окне предварительного просмотра, которое называется также всплывающим окном, отображается содержимое веб-фрагмента из локального кэша или альтернативный источник отображения, если он был определен издателем.

Для быстрого доступа к полной версии веб-страницы следует нажать кнопку "Открыть" в окне предварительного просмотра.

Обнаружение веб-фрагментов

Чтобы обнаружить веб-фрагмент на веб-странице, Internet Explorer 8 ищет элементы с определенными именами класса и атрибутами.

Веб-фрагмент, код которого размещается на веб-странице, обязательно должен содержать следующие свойства:

<div class="hslice" id="main">
    <h2 class="entry-title">MySite News</h2>
    ...
</div> 

Управление обновлениями и уведомление

Проверяя, нет ли обновлений, IE8 сравнивает веб-фрагмент с его версией в кэше. Для платформы Windows RSS новости и веб-фрагменты обновляются периодически, по умолчанию через каждые 24 часа. Однако если веб-фрагмент содержит свойство ttl, то в подсистеме загрузки веб-каналов расписание обновления настраивается с использованием указанного значения.

Длительность и частота проверок обновлений регулируются с помощью следующих элементов веб-фрагмента:

Срок жизни (свойство ttl) - это количество минут, в течение которых веб-фрагмент считается актуальным. Если пользователь не изменяет интервал обновления, подсистема загрузки веб-каналов рассматривает это значение как рекомендуемую частоту обновления.

Время истечения срока действия (свойство endtime) веб-фрагмента указывается в следующем виде:

<abbr class="endtime" title="2008-07-25T17:30:00-07:00"> Срок действия </abbr>

Дата и время указываются в атрибуте title, сохраняя внутренний текст элемента для понятного пользователю представления времени, если необходимо.

Для выражения значений времени используется международный стандарт ISO 8601 Date and Time on the Internet: Timestamps (RFC3339) (Дата и время в Интернете: отметки времени). Общепринятый формат: ГГГГ-ММ-ДДВчч:мм:сс[Z|(+|-)чч:мм].

В формате допустим один из следующих вариантов:

После нажатия кнопки "Открыть" во всплывающем окне веб-фрагмента Internet Explorer обычно переходит к веб-странице, на которой первоначально был найден веб-фрагмент, или к альтернативному источнику обновления, если он указан.

Задание веб-фрагмента по умолчанию

При нажатии кнопки "Обнаружение веб-канала" появляется список всех веб-фрагментов в порядке, определенном IE8 при анализе документа. Разработчик может выбрать веб-фрагмент, который будет помещен в списке первым, представляя тем самым веб-страницу в целом.

Чтобы указать веб-фрагмент по умолчанию, следует добавить элемент link в внутри раздела head документа, например:

<link 
    rel="default-slice"
    type="application/x-hatom" 
    href="#news" /> 

Элемент link должен иметь следующие атрибуты:

Ускорители

В Internet Explorer 8 ускорители - это команды контекстного меню, предоставляющие быстрый доступ к приложениям или веб-службам с какой-либо веб-страницы. Пользователи могут устанавливать ускорители из галереи дополнений IE 8 или через любой веб-сайт, на котором они объявлены. Ускорители упрощают копирование информации с одной веб-страницы на другую.

Ускорители группируются по функциям, поэтому пользователи могут быстро вызвать нужную задачу. В ходе установки ускорителя или в диалоговом окне "Надстройки" можно задать ускоритель по умолчанию для конкретной категории.

Примеры существующих служб, для которых поддерживаются ускорители:

Если ускоритель не попадает ни в одну из рекомендованных категорий, можно определить собственную категорию.

Ускорители поиска. Спецификация OpenSearch.

В Internet Explorer 8 существенно улучшены в плане удобства возможности поиска благодаря следующим функциям:

Таким образом, пользователи могут выполнять поиск непосредственно из Internet Explorer, не переходя на сайты поисковых систем. Поставщик поиска по умолчанию также используется для выполнения поиска из адресной строки. Чтобы добавить поставщика поиска в IE 8, нужно позволить пользователям подключить ваш веб-сайт в качестве поставщика поиска в поле поиска. Для этого:

Файл описания OpenSearch

Файлы описания OpenSearch - это небольшие XML-файлы, описывающие поставщика поиска для IE 8.

Следующий образец файла описания OpenSearch определяет тип поисковых услуг, которые будут предложены.

<?xml version="1.0" encoding="UTF-8"?>
<OpenSearchDescription xmlns="http://a9.com/-/spec/opensearch/1.1/" 
      xmlns:ie="http://schemas.microsoft.com/Search/2008/">
  <ShortName>My Custom Search</ShortName>
  <Image height="16" width="16" 
    type="image/icon">http://example.com/example.ico</Image>
  <Url type="text/html" 
    template="http://example.com/search.aspx?q={searchTerms}source=IE"/> 
  <Url type="application/x-suggestions+json" 
    template="http://suggestions.example.com/search.aspx?q={searchTerms}"/>
  <Url type="application/x-suggestions+xml" 
    template="http://suggestions.example.com/search.aspx?q={searchTerms}"/>
  <ie:PreviewUrl type="text/html" 
    template="http://suggestions.example.com/search.aspx?q={searchTerms}"/>
</OpenSearchDescription>

Файлы описания OpenSearch должны содержать имя поставщика поиска и URL-адрес поиска. Без этих элементов установка поставщика поиска в IE 8 невозможна. Все URL-адреса поиска должны содержать элемент {searchTerms} в строке запроса. Когда браузер IE 8 обращается к этому поставщику для получения результатов поиска, элемент {searchTerms} заменяется поисковым запросом, введенным пользователем в поле быстрого поиска.

Добавление подсказок поиска в файлы описания OpenSearch

В IE 8 поддерживается отображение подсказок поиска. С помощью вариантов поиска можно быстро предлагать пользователям более эффективные поисковые запросы. Чтобы предоставить пользователям подсказки поиска в формате JSON и XML, файл описания добавляются следующие элементы:

<Url type="application/x-suggestions+json"
   template="http://suggestions.example.com/search.aspx?q={searchTerms}"/>

<Url type="application/x-suggestions+xml" 
  template="http://suggestions.example.com/search.aspx?q={searchTerms}"/>

Предварительный просмотр результатов поиска

Все установленные поставщики поиска автоматически преобразуются в ускорители. Ускорители поддерживают предварительный просмотр, что дает возможность показать пользователю предварительные результаты поиска. Для этого в файл описания OpenSearch добавляется элемент PreviewUrl, как показано ниже.

<ie:PreviewUrl type="text/html" 
  template="http://suggestions.example.com/search.aspx?q={searchTerms}/>

Если добавить этот элемент в файл описания OpenSearch то, можно будет предоставить пользователям небольшое окно с результатами поиска. Когда пользователь выделит текст на веб-странице, и щелкнув значок "Ускорители" и наведет указатель мыши на наименование поставщика поиска, откроется окно просмотра (размером 320 x 240 пикселей) с результатами поиска.

Коллекция веб-фрагментов, ускорителей и поставщиков визуального поиска доступна на веб-сайте: http://www.ieaddons.com/ru/.

Спецификация OpenSearch

Спецификация OpenSearch была разработана подразделением A9 компании Amazon.com и первая версия OpenSearch 1.0 была представлена Джеффом Безосом (Jeff Bezos) на конференции Web 2.0 в марте 2005 г. Черновик спецификация OpenSearch 1.1 был опубликован в период с сентября по декабрь 2005 г.

Спецификация OpenSearch включает в себя:

В спецификации версии 1.0 допустим только один ответ в RSS формате; напротив, версия 1.1 предусматривает поддержку множественных запросов в любых форматах. RSS и Atom лишь формально поддерживаются OpenSearch агрегаторами, более приемлемыми форматами считаются, такие как, например HTML.

Элементы файла описания OpenSearch

Пример документа с OpenSearch описанием :

<?xml version="1.0" encoding="UTF-8"?>

<OpenSearchDescription xmlns="http://a9.com/-/spec/opensearch/1.1/">

   <ShortName>Web Search</ShortName>

   <Description>Use Example.com to search the Web.</Description>

   <Tags>example web</Tags>

   <Contact>admin@example.com</Contact>

   <Url type="application/atom+xml"
        template="http://example.com/?q={searchTerms}amp;pw={startPage?}amp;format=atom"/>

   <Url type="application/rss+xml"
        template="http://example.com/?q={searchTerms}amp;pw={startPage?}amp;format=rss"/>

   <Url type="text/html" 
        template="http://example.com/?q={searchTerms}amp;pw={startPage?}"/>

   <LongName>Example.com Web Search</LongName>

   <Image height="64" width="64" type="image/png">http://example.com/websearch.png</Image>

   <Image height="16" width="16" 
type="image/vnd.microsoft.icon">http://example.com/websearch.ico</Image>

   <Query role="example" searchTerms="cat" />

   <Developer>Example.com Development Team</Developer>

   <Attribution>
     Search data Copyright 2005, Example.com, Inc., All Rights Reserved
   </Attribution>

   <SyndicationRight>open</SyndicationRight>

   <AdultContent>false</AdultContent>

   <Language>en-us</Language>

   <OutputEncoding>UTF-8</OutputEncoding>

   <InputEncoding>UTF-8</InputEncoding>

 </OpenSearchDescription>

Синтаксис для шаблона OpenSearch URL

Формат шаблона OpenSearch URL может быть использован для параметризованной формы представления URL в запросе к поисковому сервису.

Поисковый клиент в процессе обработки шаблона попытается заменить каждое вхождение шаблонизированного параметра, представляемого в форме {имя} и значение которого определяется во время выполнения запроса.

По умолчанию, имена параметров рассматриваются как часть пространства имен для шаблонов OpenSearch 1.1, а определения для основных параметров поиска приводятся в спецификации. Однако поисковые службы и поисковые клиенты могут устанавливать новые имена параметров, опираясь на механизм расширяемости в рамках соглашения о префиксах пространств имен XML.

Примеры.

Шаблон поискового URL, содержащего шаблонизированный параметр:

http://example.com/search?q={searchTerms}

Шаблон поискового URL, содержащего необязательный шаблонизированный параметр:

http://example.com/feed/{startPage?}

Пример шаблона поискового URL, содержащего необязательный шаблонизированный параметр из расширенного пространства имен в контексте элемента Url:

<Url type="application/rss+xml"
  xmlns:example="http://example.com/opensearchextensions/1.0/"
  template="http://example.com?q={searchTerms}amp;c={example:color?}"/>

Имена параметров можут содержать необязательный префикс, предшествующий локальному имени параметра. И префикс и локальное имя параметра чувствительны к регистру.

Обязательный параметр отличает от необязательно только наличием знака ? после локального имени:

{searchTerms} - обязательный параметр.

{startPage?} - необязательный параметр.

Параметры OpenSearch 1.1

Источники