Entre 1558, fin de l'occupation anglaise, et le milieu du XVIIe siècle, la seigneurie d'Audresselles comportait aussi le hameau d'Haringzelle1 où se trouve actuellement un bois cachant des batteries allemandes d'Audinghen. Elle appartenait à la famille Acary1, qui a donné quelques amiraux à la France et dont descendent la plupart des vieilles familles de pêcheurs du bourg.
Village de pêcheurs-naufrageurs millénaire implanté sur une dune, Audresselles a perdu plusieurs de ses rues et de ses chaumières ainsi que l' église du XIe siècle, qui ont été avalées par la mer jusqu'aux années 1880. À la fin du XIXe siècle, des plaisanciers, venus de Paris, de Lille et de Reims, ont acheté le rivage et construit des perrés (digues) individuels pour protéger leur chalet de vacances. De ce fait, depuis la fin du XIXe siècle, le rivage d'Audresselles a cessé de reculer et n'a presque plus changé. Depuis, Audresselles a conservé une architecture caractéristique, avec ses longères blanches à bande de couleur en bas des murs, au centre du village, et quelques villas de la Belle Époque face à la mer. Audresselles est encore habité par une famille d'artisans pêcheurs professionnels et le doris de l'un d'entre eux utilise la plage d'échouage du village.
Les flobarts traditionnels, petits drakkars tronqués, sont encore utilisés par les plaisanciers.