В термодинамике известен так называемый коэффициент Больцмана

k = 1.38 * 10^–16 (эрг/град)

и выражение ( формула Больцмана ) для энтропии или меры хаоса в термодинамической системе:

Сравнивая выражения для I и S, можно заключить, что величину I можно понимать как энтропию из-за нехватки информации в системе (о системе).

Основное функциональное соотношение между энтропией и информацией имеет вид:

I+S(log₂e)/k=const.

Из этой формулы следуют важные выводы:

1. увеличение меры Шеннона свидетельствует об уменьшении энтропии (увеличении порядка) системы;
2. уменьшение меры Шеннона свидетельствует об увеличении энтропии (увеличении беспорядка) системы.

Положительная сторона формулы Шеннона – ее отвлеченность от смысла информации. Кроме того, в отличие от формулы Хартли, она учитывает различность состояний, что делает ее пригодной для практических вычислений. Основная отрицательная сторона формулы Шеннона – она не распознает различные состояния системы с одинаковой вероятностью.

Методы получения информации можно разбить на три большие группы.

1. Эмпирические методы или методы получения эмпирических данных.
2. Теоретические методы или методы построения различных теорий.
3. Эмпирико-теоретические методы (смешанные) или методы построения теорий на основе полученных эмпирических данных об объекте, процессе, явлении.

Охарактеризуем кратко эмпирические методы.

1. Наблюдение – сбор первичной информации об объекте, процессе, явлении.
2. Сравнение – обнаружение и соотнесение общего и различного.
3. Измерение – поиск с помощью измерительных приборов эмпирических фактов.
4. Эксперимент – преобразование, рассмотрение объекта, процесса, явления с целью выявления каких-то новых свойств.

Кроме классических форм их реализации, в последнее время используются опрос, интервью, тестирование и другие.

Охарактеризуем кратко эмпирико-теоретические методы.

1. Абстрагирование – выделение наиболее важных для исследования свойств, сторон исследуемого объекта, процесса, явления и игнорирование несущественных и второстепенных.
2. Анализ – разъединение целого на части с целью выявления их связей.
3. Декомпозиция – разъединение целого на части с сохранением их связей с окружением.
4. Синтез – соединение частей в целое с целью выявления их взаимосвязей.
5. Композиция — соединение частей целого с сохранением их взаимосвязей с окружением.
6. Индукция – получение знания о целом по знаниям о частях.
7. Дедукция – получение знания о частях по знаниям о целом.
8. Эвристики, использование эвристических процедур – получение знания о целом по знаниям о частях и по наблюдениям, опыту, интуиции, предвидению.
9. Моделирование (простое моделирование), использование приборов – получение знания о целом или о его частях с помощью модели или приборов.
10. Исторический метод – поиск знаний с использованием предыстории, реально существовавшей или же мыслимой.
11. Логический метод – поиск знаний путем воспроизведения частей, связей или элементов в мышлении.
12. Макетирование – получение информации по макету, представлению частей в упрощенном, но целостном виде.
13. Актуализация – получение информации с помощью перевода целого или его частей (а следовательно, и целого) из статического состояния в динамическое состояние.
14. Визуализация – получение информации с помощью наглядного или визуального представления состояний объекта, процесса, явления.

Кроме указанных классических форм реализации теоретико-эмпирических методов часто используются и мониторинг (система наблюдений и анализа состояний), деловые игры и ситуации, экспертные оценки (экспертное оценивание), имитация (подражание) и другие формы.

Охарактеризуем кратко теоретические методы.

1. Восхождение от абстрактного к конкретному – получение знаний о целом или о его частях на основе знаний об абстрактных проявлениях в сознании, в мышлении.
2. Идеализация – получение знаний о целом или его частях путем представления в мышлении целого или частей, не существующих в действительности.
3. Формализация – получение знаний о целом или его частях с помощью языков искусственного происхождения (формальное описание, представление).
4. Аксиоматизация – получение знаний о целом или его частях с помощью некоторых аксиом (не доказываемых в данной теории утверждений) и правил получения из них (и из ранее полученных утверждений) новых верных утверждений.
5. Виртуализация – получение знаний о целом или его частях с помощью искусственной среды, ситуации.

Пример. Для построения модели планирования и управления производством в рамках страны, региона или крупной отрасли нужно решить следующие проблемы:

1. определить структурные связи, уровни управления и принятия решений, ресурсы; при этом чаще используются методы наблюдения, сравнения, измерения, эксперимента, анализа и синтеза, дедукции и индукции, эвристический, исторический и логический методы, макетирование и др.;
2. определить гипотезы, цели, возможные проблемы планирования; наиболее используемые методы – наблюдение, сравнение, эксперимент, абстрагирование, анализ, синтез, дедукция, индукция, эвристический, исторический, логический и др.;
3. конструирование эмпирических моделей; наиболее используемые методы – абстрагирование, анализ, синтез, индукция, дедукция, формализация, идеализация и др.;
4. поиск решения проблемы планирования и просчет различных вариантов, директив планирования, поиск оптимального решения; используемые чаще методы – измерение, сравнение, эксперимент, анализ, синтез, индукция, дедукция, актуализация, макетирование, визуализация, виртуализация и др.

Суть задачи управления системой – отделение ценной информации от "шумов" (бесполезного, иногда даже вредного для системы возмущения информации ) и выделение информации, которая позволяет этой системе существовать и развиваться.

Информационная система – это система, в которой элементы, структура, цель, ресурсы рассматриваются на информационном уровне (хотя, естественно, имеются и другие уровни рассмотрения).

Информационная среда – это среда (система и ее окружение) из взаимодействующих информационных систем, включая и информацию, актуализируемую в этих системах.

Установление отношений и связей, описание их формальными средствами, языками, разработка соответствующих описаниям моделей, методов, алгоритмов, создание и актуализация технологий, поддерживающих эти модели и методы, и составляет основную задачу информатики как науки, образовательной области, сферы человеческой деятельности.

Информатику можно определить как науку, изучающую неизменные сущности (инварианты) информационных процессов, которые протекают в различных предметных областях, в обществе, в познании, в природе.