Le village est situé sur les Monts de Vaucluse, placé sur un flanc de montagne en pente douce et face à la montagne du Luberon. Il s'est développé une activité commerciale dans son lieu-dit Coustellet, en bordure de commune et conjointement avec Robion et Maubec. La commune participe à la communauté de communes Luberon Monts de Vaucluse.

La partie sud de la commune, composée principalement de terres agricoles, se situe sur les hauteurs de la plaine du Calavon (ou vallée nord-Luberon).

La partie au nord du village, composée principalement de bois et garrigue, est située sur les monts de Vaucluse. Le point le plus haut est situé sur la pointe à l'extrémité nord de la commune.

L'origine du nom "Cabrières-d'Avignon" se trouve dans l'occitan cabrièra qui signifie "étable ou parc à chèvres". Le mot est un prolongement de cabra (cabro en graphie mistralienne), "chèvre", du latin capra.

Cabrières-d'Avignon est aussi appelé Cabrières du Comtat ou du Comté.

Transcrit en 1180 "Cabrieras", puis successivement "Capreris", "caprieras" et retour à "Cabrieras". Le nom francisé Cabrières fait son apparition au XVIe siècle. On lui ajoute ensuite "du Comtat" ou "d'Avignon", car le village était situé dans les États pontificaux (Comtat Venaissin). En 1918 : Cabrières prend officiellement le nom de Cabrières-d'Avignon. ce qui permet de le différencier de Cabrières-d'Aigues qui est aussi dans le département de Vaucluse.

• XIe siècle/XIIe siècle, construction du château par la famille des Adhemar (vicomte de Cavaillon, branche cadette des Adhemar, premiers comtes héréditaires d'Orange). La famille devient les Baux-Adhemar à la suite d'une alliance avec les seigneurs des Baux.

• XIVe siècle, Henri de Chiabeau succède au Baux-Adhemar. Sa fille, Laure de Chiabeau (née le 4 juin 1314), est considéré par certains historiens comme la (l'une des) Laure de Pétrarque.

• En 1490, par son mariage avec Germaine de Montjoie, Cabrières devient seigneurie de Giraud d'Ancézune, baron de Caderousse. Pour mettre ses terres "en rapport" il fera venir plusieurs familles vaudoises du Piémont.

• Cabrières étant le seul village vaudois fortifié, lors de la persécution de 1545, il servit de refuge. Le siège fut mis le 19 avril par les troupes de Paulin de La Garde, sous la direction du premier président du Parlement d'Aix, Maynier, seigneur d'Oppède. Au bout de quelques jours, la reddition fut acquise après négociation et promesse de vie sauve. Mais les hommes furent fusillés, les femmes combattantes enfermées dans une grange, et brûlées vives. Les autres furent violées et massacrées, les enfants et les vieillards exterminés : le bilan fut de 400 à 500 morts. Les survivants furent vendus comme esclaves à L'Isle-sur-la-Sorgue ou envoyés aux galères. Enfin, le village fut rasé, et une colonne élevée à la mémoire du président Maynier.

• 1695 : les Consuls de la commune font creuser six puits éparpillés sur le territoire pour pallier des problèmes d'eau.

• 1720 : Une épidémie de peste arrive à Marseille et gagne petit à petit le reste de la Provence. Les paroisses du Comtat Venaissin se protègent alors en construisant un mur de pierre sèche que l'on nommera plus tard le mur de la Peste.

• Les étés 1724, 1758 et 1761 sont arides et entrainent des problèmes d'eau, c'est pourquoi en 1762 un système de tuyaux est mis en place pour acheminer l'eau au village.

• 1765, les travaux pour l'acheminement de l'eau vers le village à l'aide de mines, de canaux et de tuyaux s'achèvent... mais un hiver trop rude fait fendre le bassin et tordre les canalisations, les mines, pas assez bien stabilisées s'effondrent. Tout est à refaire.

• 1767, Cabrières ainsi que toutes les anciennes possessions des Ancézune, devient seigneurie des Grammont-Caderousse. Ils garderont le château jusqu'en 1807.

• 1801, à la suite de la découverte dans le vallon des Beaumillons d'une réserve naturelle d'eau importante, de nouveau travaux sont entrepris.

• 1860 : Plantation de cèdres au nord du village.

• 1872, le nouveau propriétaire du château clôture l'accès à la fontaine privant ainsi les habitants d'un précieux accès à une ressource vitale.