Mervelier est une commune du canton du Jura, dont l'histoire remonte à 1184, bien que le village et la commune aient été officiellement reconnus le 6 juin 1343. En 1815, à la suite du Congrès de Vienne, Mervelier, avec les autres terres jurassiennes de l'évêché de Bâle, est intégrée au canton de Berne, au sein du district de Moutier. Au XIXe siècle, confrontée à des famines récurrentes, une partie de la population émigre vers le Nouveau Monde, soutenue par des subventions communales.

Le 1er janvier 1979, Mervelier quitte officiellement le canton de Berne pour rejoindre le canton du Jura, nouvellement créé, et s'intègre au district de Delémont après un long processus de séparation. Le 5 février 2012, lors d'une votation, les habitants de Mervelier décident de ne pas participer à la fusion des communes du Val Terbi, préférant maintenir leur statut actuel. La commune est également le foyer de plusieurs familles bourgeoises historiques telles que les Kottelat, Marquis, Mouttet et Sautebin, qui ont marqué son passé.