Celé okolí této vsi ulicového typu s podlouhlou návsí bylo podle řady nálezů na přelomu 19. a 20. století osídleno již v době kamenné a v raném středověku se prý měla v blízkosti Skalky těžit železná ruda. Podle různých dobových zmínek se některé pravěké nálezy dostaly do blíževedelské školy, do Úštěka i jinam. Ohledně původu názvu bude nejlepší otevřít dílo prof. Antonína Profouse "Místní jména v Čechách. Jejich vznik, původní význam a změny. IV. díl. S-Ž", v němž se píše následující: "7. Skalka, něm. Skalken (lid. Skolkn), ves v Českém Středohoří 4 1/2 km vých. od Úšťku: 1544 w Ausstku .. w Wostrem, w Skalcze, DZ. 5 D 21; 1578 (1574) v městě Ausstku .. ves Rage, ves Skalka - - ves Skalku, ve vsi Strziziowiczych, DZ. 64 D 25 a 30; 1601 postupuje tvrze Rochowa .. vsi Skalky celé .. vsi Rage, DZm. 236 F 19; 1616 krčma ve vsi Skalcze .. tvrz Rochow, DZ. 138 B 27ʼ; 1654 Skalka, BR. 16/120; 1720 Skalken, Müller; 1787 Hft Libeschitz oder Ausche: Skalken, Skalka von 26 N., Schal. V, 286." Z předem zmíněného jsme se mnoho nedozvěděli, ale je jasné, že tato ves obdržela své pojmenování od toho, že celé její okolí je plné různých skal a skalek.
Rozsah vsi v 16. století známe ze smlouvy z roku 1574, kdy se dělilo zdejší panství mezi Jana Buriana a Fridricha Sezimy z Ústí a na Úštěku. Tehdy tu bylo 14 usedlostí, z nichž největší vlastnil rychtář Valentin Schreybr, který odváděl 38 grošů svatojiřského a 38 grošů svatohavelského úroku a 2 1/4 strychu ovsa. Za třicetileté války osada, jež náležela původně k ronovskému panství, téměř zanikla, což můžeme zjistit v berní rule z roku 1654, kdy zde byly pouhé 2 chalupnické usedlosti. Brzy se to však změnilo, neboť z urbáře liběšického panství, který přepsali německy jezuité v roce 1679, víme, že se zde v polovině 17. století nacházelo již 5 sedláků, 4 zahradníci a 3 chalupníci. Ze 13. září 1668 máme zprávu o některých robotách, jež původně konala ves na žádost úštěckého faráře dobrovolně, ale z toho jí nakonec vznikla povinnost. Do dějin ves vstoupila až za válek o bavorské dědictví, když se zde 13. září 1778 povedlo rakouským husarům z pluku Kalnoky zajmout při menším střetnutí pruského husara. Delší dobu měl u Skalky svůj hlavní stan polní maršál Ernst Gideon svobodný pán z Laudonu. 9. října 1780 navštívil Skalku inkognito císař Josef II. Kontrakt o vykoupení se z roboty s liběšickým panstvem ze 7.-8. října 1784 (něm. Robotabolitizions- und Mayerschafts-Verstückungs-Kontrakt) podepsal za ves rychtář Christopher Köcher. Roku 1787 byla Skalka přifařena k Blíževedlům, které v té době patřily ke kostelu sv. Václava ve Strážišti. Předtím však náležela k Úštěku. V roce 1843 měla 31 domů a 156 obyvatel.
V roce 1849 se Skalka stala samostatnou politickou obcí, jež byla známá zejména svými chmelnicemi a pískovnou (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=skicic&idrastru=LIT530018430). V letech 1883-1884 byla vystavěna silnice z Úštěka ke Skalce. Roku 1900 měla obec 21 domů a 122 obyvatel. V roce 1906 na výstavě "Die Deutschböhmische Ausstellung, Reichenberg 1906" získala obec spolkovou medaili za svoji chmelařskou expozici a zdejší velkostatek hraběte Schönborna bronzové státní vyznamenání za ovocnářskou expozici. Roku 1910 byl vybudován vodovod. Před 1. světovou válkou tu mnoho živnostníků nebylo. Pouze podkovář Josef Gürtler, obuvník Franz Wenzel a rolníci Christoph Hauptmann a Wenzel Linke. Z front 1. světové války se nevrátilo několik místních mužů (August Badel, Karl Badel, Franz Hauptmann, Josef Linke, Josef Richter, Norbert Tschakert, Josef Zirkel, Rudolf Zirkel). Problém je v tom, že Skalek je v okolí vícero, takže může docházet k jejich záměně a všichni padlí byli německé národnosti. Navíc totiž dodnes neexistuje soupis všech českých padlých, natož našich německých spoluobčanů.
Roku 1918 se obec přihlásila k provincii Deutschböhmen (Německé Čechy), jíž si nárokovalo krátce existující Německé Rakousko. V meziválečném období bývala Skalka častým cílem různých výprav a putování mnoha německých spolků, např. Německého horského spolku pro Jablonec nad Nisou a okolí (něm. Deutscher Gebirgsverein für Gablonz und Umgebung). Některé tu dokonce měly letní tábory pro svou mládež. Tyto korporace tak pomáhaly těm místním, zejm. místní skupině Německého kulturního spolku. V roce 1933 měla obec 22 domů a 113 obyvatel, z nichž byli všichni Němci. O rok později byla dokončena elektrifikace. Roku 1938 vznikla místní buňka NSDAP. V letech 1938-1945 náležela do Třetí říše a po osvobození došlo k odsunu zdejšího německého obyvatelstva. V roce 1939 měla obec 25 domů a 93 obyvatel. 2. února 1947 vzniklo Zemědělské strojní družstvo ve Skalce, p. Blíževedly, zapsané společenstvo s obmezeným ručením, jehož předsedou se stal Antonín Antonín z čp. 49 a místopředsedou Josef Rákosník z čp. 1. To se 16. prosince 1949 přetvořilo v JZD v čele s předsedou Josefem Rákosníkem z čp. 1 a místopředsedou Antonínem Hálou z čp. 40. Roku 1960 došlo k přeřazení obce do nově vzniklého okresu Česká Lípa. V roce 1974 byla dokončena stavba prodejny smíšeného zboží a budovy MNV. 1. července 1980 se obec stala součástí Blíževedel. 1. ledna 1981 se Skalka stala součástí Kravaří. O 3 roky později byla dobudována elektrifikace v těch částech, kde ještě nebyla. 1. července 1990 se Skalka stala opět součástí obce Blíževedly. Roku 2014 byla zřízena nová autobusová zastávka. V roce 2021 se vzedmula vlna odporu proti stavbě přeložky silnice I/9 z Liběchova na Českolipsko, která by podle jedné z plánovaných variant vedla těsně vsi (viz
https://ceskolipsky.denik.cz/zpravy_region/blizevedly-stale-bojuji-odpor-proti-silnici-sjednotil-zastupitele-20210408.html), což by bylo ránou jak pro místní obyvatele, tak pro mnohé turisty.
Ze zdejších pamětihodností můžeme zmínit: od 20. ledna 1965 památkově chráněnou poloroubenou usedlost čp. 4 z 19. století se zachovanou bývalou sušárnou chmele (viz
https://pamatkovykatalog.cz/pravni-ochrana/venkovska-usedlost-136512); od 20. ledna 1965 památkově chráněnou poloroubenou usedlost čp. 5 z 19. století (viz
https://pamatkovykatalog.cz/usedlost-16058490); od 20. ledna 1965 památkově chráněnou poloroubenou usedlost čp. 8 z 19. století (viz
https://pamatkovykatalog.cz/usedlost-15765030); od 20. ledna 1965 památkově chráněný roubený patrový dům čp. 20 se zděnou chlévní částí a stodolou z 19. století (viz
https://pamatkovykatalog.cz/usedlost-16097824); návesní litinový kříž z roku 1822 a krucifix u rozcestí z téže doby; Cimrmanovu rozhlednu, která byla otevřena v červenci 2020 (viz
https://litomericky.denik.cz/zpravy_region/cimrmanova-rozhledna-ustek-20210515.html); od 6. ledna 2000 památkově chráněnou dvojici stromů - javoru klen a lípy malolisté (lípa sloužila již od 18. století k zavěšení obecního zvonku; viz
https://drusop.nature.cz/ost/chrobjekty/pstromy/index.php?SHOW_ONE=1&ID=8980) a od 6. ledna 2000 památkově chráněnou lípu malolistou u silnice Blíževedly-Rašovice (viz
https://drusop.nature.cz/ost/chrobjekty/pstromy/index.php?SHOW_ONE=1&ID=8979), jež doprovází zbytek podstavce kříže, který byl zřízen v roce 1822 a obnoven roku 1869. Z těch moderních se dá zmínit také kovová plastika kostlivce, která má nápisem: "KDYŽ SE NEOBČERSTVÍŠ, DOPADNEŠ JAKO JÁ. "Skalník" upozorňovat na zdejší vyhlášenou Lesní hospůdku Na Skalce. Nejvýraznějším místním rodákem byl lékař MUDr. Franz Badel a výraznou místní osobností byl rovněž Ing. Josef Steinitz, jenž byl jedním z členů vedení Zemědělského nákupního a prodejního družstva v Litoměřicích a Okresní hospodářské záložny v Úštěku. Ve Skalce se u Ignáce Patzelta vyučil mysliveckému řemeslu blíževedelský rodák Florian Kasper, který se v hraběcích službách dostal do severní Afriky a na Blízký východ. Ke vsi se vztahuje povídka "Hájovna" (něm. Das Forsthaus oder: Der vacirende reisende Müller) od Josepha Bartschta.