Термин "Энтропия" широко применяют в естественных и точных науках. Впервые его ввели в термодинамике в качестве функции состояния термодинамической системы, которая определяла меру необратимого рассеивания энергии. В случае со статистической физикой энтропия характеризует вероятность появления одного из макроскопических состояний. Также термин весьма активно применяют в математике. В целом, энтропию можно интерпретировать в качестве меры неопределенности некоей системы. А можно в виде информационной емкости системы - последнее связано с именем американского математика Клода шеннона.