iTunesを起動している状態での解説です。（操作と画像はOS10.3です）
しまう
ウィンドウの左上の［しまう］（-）ボタンをクリックします。
Dockにしまわれます。再度、ウィンドウを開きたいときは、Dockのアイコンをクリックします。
Dockにしまうには、ウィンドウのタイトルバーをダブルクリックしてもいいです。
このダブルクリックでしまう操作は、［システム環境設定］の［アビアランス］からオン、オフの切り替えができます。
Blogのウィンドウをしまうを参照してください。
または、メニューバーの［ウィンドウ］から［しまう］または［ウィンドウをしまう］をクリックします。
一度にしまう
同じアプリケーションウィンドウを一度にしまうには［option］ボタンを押しながら、［しまう］ボタン（-）をクリックします。
または、［option］ボタンを押しながらタイトルバーをダブルクリックします。
一度にDockにしまわれます。
閉じる
［閉じる］（×）ボタンをクリックします。
ウィンドウは消えます。でも、アプリケーションは終了していません。
ここがWindowsと異なるところです。
Dockの［iTunes］のアイコンの下には、▲のマークがついています。音も消えていません。
Dockのアイコンをクリックすると、開いていたときと同じウィンドウが表示されます。
終了
アプリケーションを終了させたい場合は、メニューバーの［iTunes］をクリックして、メニューの中から［iTunesを終了］をクリックします。
または、Dockのアイコンで右クリックしてショートカットメニューから［終了］をクリックします。
Dockのアイコンをみると、▲のマークは消えています。