V centru příběhu filmu Zápisky o skandálu jsou dvě ženy, které se díky svým touhám a nečekané zradě ocitnou ve velmi vyhrocené situaci. Celý příběh je i se svými zvraty zaznamenán v deníku Barbary Covett (Judi Dench), despotické a samotářské učitelky na chátrající londýnské střední škole, která své třídě vládne železnou rukou. Žije sama s kočkou Portií, bez přátel nebo lidí, kterým by se mohla s čímkoliv svěřit. V jejím osamělém světě však dojde k zásadní změně v okamžiku, kdy se ve škole setká s novou učitelkou Shebou Hart (Cate Blanchett). Sheba se zdá být přesně tou spřízněnou duší a věrným přítelem, jakého Barbara vždycky hledala. Když se ale ukáže, že má Sheba vášnivý vztah s jedním ze svých mladých studentů (Andrew Simpson), změní se jejich vzájemné přátelství v naprostou nevraživost. Zatímco Barbara vyhrožuje, že odhalí Shebaino tajemství jejímu manželovi (Bill Nighy) i zbytku světa, začínají se dostávat do popředí její vlastní tajemství a temné posedlosti.