Kunstnerens sterke innflytelse i museet har imidlertid gjennom årene vært en tilbakevendende kilde til strid. Harriet Backer var den første kvinnelige kunstner som ble representert i museets styre. I 1899 utførte hun og kunsthistoriker Andreas Aubert omfattende endringer i museets utstillingssaler, hvor norsk samtidskunst nå fikk en mer framtredende plass.  

Savnet av offentlige kunstsamlinger var stort i Norge på 1800-tallet. Nasjonalgalleriets samlinger bestod hovedsakelig av billedkunst. Landet manglet derfor eksempler på klassisk skulptur som blant annet kunne anskueliggjøre undervisningen i «kunstarchæologiske studier», som J. S. Welhaven uttrykte det. Det var Universitetet, hvor klassiske fag og tradisjoner stod sterkt, som i 1859 tok initiativet til opprettelsen av et skulpturmuseum. Tredimensjonal kunst skulle støtte opp om undervisningen og det vitenskapelige arbeidet, samt utvikle allmenndannelsen og skjønnhetssansen. En skulptursamling ville også gi pedagogiske fordeler for kunstnere og håndverkere fordi tegning etter tredimensjonale objekter var en viktig del av opplæringen til begge yrkesgrupper: «Malerier forstaar Arbeiderne sig ikke saameget paa, fordi den legemlige form mangler», argumenterte stortingsrepresentant Torkel Aschehoug.

De fleste av 1860-årenes parlamentarikere var derimot ikke like overbevist om den klassiske arvens dagsaktuelle betydning. Ikke minst var Stortinget opptatt av å holde en beskjeden kulturpolitisk profil på statskassens vegne og bevilgninger til et skulpturmuseum ble avslått hele fire ganger. Christiania Sparebank, den historiske forløperen til Sparebankstiftelsen DNB, kom forkjemperne av skulpturmuseet til unnsetning. Banken påtok seg å finansiere innkjøpet av gipsskulpturer og var villig til å bekoste en bygning, forutsatt at museet skulle tilhøre byen og ikke universitetet. Betingelsen var også at staten bidro med gratis tomt. Stortinget aksepterte, med et vilkår om at det husløse Nasjonalgalleriet, som stadig var på flyttefot i sentrum av Christiania, skulle få fast plass i museet. Etter en lukket konkurranse om å tegne det nye museet mellom arkitektene Paul Due og Heinrich Ernst Schirmer, gikk sistnevnte av med seieren. Byggingen skulle oppføres trinnvis, ut ifra det økonomien tillot. Skulpturmuseet, midtpartiet av nåværende bygning, ble fullført av arkitekt Adolf Schirmer, sønnen til Heinrich. Den 6. desember 1881 åpnet Christiania Skulpturmuseum dørene for publikum som Norges første, og svært representative, skulptursamling: avstøpninger av hovedverk fra antikkens skulptur og relieffer dannet hovedtyngden, men også renessansen, barokken og nyere tid ble representert. Originalskulpturer utgjorde kun en mindre andel.

På 1920-tallet hevdet enkelte kritikere at museet manglet en tydelig nasjonal profil og at begrepet «nasjonalgalleri» måtte reforhandles. Skulle kunstnerne gå i dialog med norske tradisjoner og male fargesterke «heimstadmalerier» av landskap og folkeliv, eller basere seg på den klassiske arven? Og hva med den mer tradisjonelle figurative kunsten kontra de mer avantgardistiske retningene?

Likeledes har det vakt utbrett mishag at den fremmede kunst er gitt de beste og mest luksuriøst utstyrte saler i museet.»

(Haugesunds Dagblad, 10.01.1925).

Samtidig sank gipsavstøpningenes status som kunstobjekter hos det allmenne publikum, fra å representere folkeopplysning og klassisk dannelse, til å framstå som utdaterte kopier. Etter en «ansiktsløfting» av skulpturene kom det positive tilbakemeldinger i pressen: «Selv de gamle gipsavstøpninger vil skinne som originaler». Dette stod å lese i Morgenbladet i 1937: «(…) vi tør forsikre dem som kommer til å vanke i disse saler herefterdags at de vil ikke kjenne de fæle gamle avstøpningene igjen, de er renset og iklædt en ny farve som får dem til å ligne marmor ganske forbløffende. Nå kan man virkelig ha glede av de gamle klassikere.»

Avstøpningssamlingens status som museumsobjekt var jevnt dalende, i tråd modernismens oppvurdering av det unike og autentiske. Økt reisevirksomhet bidro også til at tilgangen til originalverkene ble enklere. I særdeleshet hadde Dagbladet i mange år drevet aktiv kampanjejournalistikk for å få byttet ut de klassiske gipskopiene med original, norsk middelalderskulptur, nærmere bestemt universitetets samling av stavkirkeportaler, treskulpturer og øvrig middelalderkunst. Høymiddelalderen, da «Norge med ære hevdet sin stilling som kulturland», framstod i samtiden med en særegen glans og status. Allerede i 1923 hadde Dagbladet ryddet plass over en hel førsteside til saken om middelalder-skulpturene: «Skal Norges beste kunst stå i Historisk museum?» Avisa fulgte opp i 1935: «Hvad skal man med gipsen? Landets fornemste kunstsamling skal ikke være noen lærermiddelanstalt. Vekk med den.» Også Thiis ønsket norsk middelalderskulptur velkommen i museet, men han var ikke så «glupsk» at han ville legge beslag på hele samlingen til universitetet, kun noen få og utvalgte arbeider. Tidligere forsøk på overdragelse av enkeltskulpturer fra Universitetets samlinger hadde imidlertid vært resultatløse.

I 1925 brøt det ut et opprør mot Nasjonalgalleriets direktør, Jens Thiis. Foranledningen var kjøpet av to middelalderskulpturer, Gotiske hoder, som direktøren kjøpte i Paris. Skulpturhodene Madonnahode og Apostelen Petrus var blant museets tidligste innkjøp av original middelalderskulptur, men handelen ble gjort uten behandling i innkjøpskomiteen. Billedhugger Wilhelm Rasmussen, professor ved Kunstakademiet og medlem av Nasjonalgalleriets råd og innkjøpskomité, reagerte på direktørens irregulære framgangsmåte. Dessuten var hodene falske, hevdet han. Maleren Søren Onsager sluttet seg til kritikken. Ikke bare var hodene trolig falske, de var i tillegg franske, svært kostbare og innkjøpt hos en antikvitetshandler av tvilsomt renommé. Den angivelig lugubre forretningsforbindelsen var det velrenommerte firmaet M. & R. Stora, hvis spesialitet var fransk gotikk og renessanse. At eierne av firmaet var jødiske, bidro til å forsterke det mistenksomhetens lys som nå ble rettet mot skulpturenes potensielle autentisitet. Åpne jødekritiske utfall i pressen var ikke sjeldne på 1920-tallet og jødenes angivelige uærlighet, spesielt innen handel, var en velkjent forestilling. «La jøden i Paris få hele ruklet tilbake!» stod det å lese i Aftenposten. Etter en opprivende rettsak- og årets store mediebegivenhet- endte det med seier for Jens Thiis. Hodene var ekte. Nasjonalgalleriets Venner bekostet innkjøpet av skulpturene.

På 1920- og 30-tallet gjennomgikk museet en økende profesjonalisering, og museet tok for alvor spranget fra å være en kunstsamling til å bli et moderne museum. Museet satset også i økt grad på vitenskapelig arbeid og formidling. Tekniske forbedringer som elektrisk lys ble innført gradvis, motivert av hensyn til den arbeidende del av befolkingen, som sammen med skolebarn tidlig ble definert som særlige målgrupper.  

Desentralisering av kunst og kulturtilbud og statens stadig mer aktive medvirkning førte blant annet til opprettelsen av Statens Vandreutstillinger for kunst, Riksgalleriets forløper, der Nasjonalgalleriet var en sentral aktør.  

Staben ble utvidet, arbeidsoppgavene ble mer spesialiserte og samlingene vokste i omfang. Det var derfor en svært gledelig nyhet museet mottok i forkant av hundreårsjubileet i 1937: Under de ekstraordinære krisebevilgninger i 1936 besluttet Stortinget endelig å sette av penger til å utbygge søndre gårdsrom. Edvard Munchs arbeider ble tildelt den nye overlyssalen i det tidligere gårdsrommet, som fra nå av ble museets mest prominente rom.

Plassbehovet hang også tett sammen med direktørens syn på innredningsestetikk, publikumsopplevelse og samlingspresentasjon. Et utstillingsrom skulle være luftig og velkomponert, hvor arkitektur og kunstverk i samspill skulle gi en enhetlig visuell opplevelse: «Et museum skal i sig selv være et kunstverk, hvor selve rummene og deres montering umiddelbart virker harmonisk balansert på sinnet. Alene slik skal kunstverkene komme til sin rett og gjøre inntrykk på de besøkende. Utstillingssalene skal ikke ved overlesselse forvanskes til magasin. Heller for lite enn for meget på veggen!».

Et reelt håp om en utvidelse av museet på Tullinløkka var imidlertid ikke umiddelbart i sikte. Gjennom flere år hadde Thiis argumentet for å ta i bruk «sandørkenen» Tullinløkka, til en utvidelse av museet, ei løkke som lenge til «skamm og unytte har henligget i byens fornemste centrum». Tullinløkka var den eneste aktuelle utvidelsesmuligheten for Nasjonalgalleriet «og vi maa have os frabedt hvilkensomhelst okkupering af denne plads.»

På 1930-tallet kom kampen om Tullinløkka hovedsakelig til å stå om bilparkering kontra museumsutvidelse. Museene fryktet det første på grunn av «økt larm, uro, lukt og støvplage», samtidig som Thiis utrettelig og målrettet arbeidet på kunstens vegne: «En gang må det være historiens og kunstens tur.»

Krigen representerte en dramatisk epoke i Nasjonalgalleriets historie. Etter Tysklands angrep på Polen 1. september 1939 var Nasjonalgalleriet klar til å iverksette første trinn i evakueringen av samlingene. På kulturfronten hadde signalene fra Tyskland vært stadig mer bekymringsfulle etter Hitlers maktovertakelse 30. januar 1933. I 1937 ble en rekke modernistiske og avantgardistiske kunstverk fjernet og solgt fra tyske museer, blant annet arbeider av Munch. Utstillinger med «entartet» eller «degenerert» kunst hadde for øvrig i flere år blitt vist på ulike steder i Tyskland, en kunstpolitisk maktdemonstrasjon som toppet seg med den store utstillingen over «Entartete» kunst i München, sommeren 1937.

Kunst og ukunst-utstillingen var inspirert av de tyske «Entartete» eller «degenererte» tyske utstillingene, og var trolig den eneste i sitt slag utenom Tyskland og Østerrike. Ifølge NS-kulturminister Gulbrand Lunde lå norsk kunstliv under for en allmenn dekadanse. Utstillingen skulle være første skritt for å rydde opp og renske ut det som fantes av «entartete» verk og andre «uheldige innkjøp» de seinere år. Kunstpolitikken fulgte NS sitt generelle deterministiske og apokalyptisk historiesyn om forfall og gjenreisning. Hensikten var å beskytte en truet kulturarv, samt å gi legitimitet til det nye politiske systemet ved å understreke det angivelige forfallet under det demokratiske og partipolitiske førkrigsregimet, som var moralsk korrumpert og infisert av jødene.

Utstillingen ble inndelt i kunst, ukunst og svak kunst. Initiativet kom fra hjemlige NS-kretser, men meningene var delte om hvorvidt en slik stigmatiserende utstilling ville tjene hensikten. Sjokkeffekter og bruk av enkle, binære begrepspar som godt og ondt, var imidlertid vanlige grep i nasjonalsosialistenes propagandastrategi. Etter sigende var utstillingen svært godt besøkt.

Utstillingen Norges nyreising ble lagt opp etter samme dramaturgiske logikk som i Kunst og ukunst: Etter å ha anskueliggjort forfedrenes rike arv fra vikingskip og kirke- og byggekunst, viste man fram forsømmelsene, forfallet og vanstyret. Hirdutstillingen samme år var i all hovedsak amatørenes og bygdefolkets arena, hvor husflidsprodukter og folkekunst dominerte. Spesielt stod treskurd og vevnad høyt i kurs, ettersom dette var noe av det mest autentiske Norge kunne by på, med sine ubrutte tradisjoner tilbake til norrøn tid. Dyrkingen av norsk folkekultur var en nødvendig bestanddel i legitimeringen av den germanske rases kulturelle overlegenhet og synet på nasjonen som en organisk enhet.

Innkjøpspolitikken til Nasjonalgalleriet fortsatte å være en vedvarende kilde til konflikt. Kunstnernes flertallsrepresentasjon i innkjøpskomiteene gav dem for mye makt, beklaget direktøren. Han karakteriserte museet som «et søtt provinsmuseum».  

Kritikk kom også fra en ny og opprørsk generasjon av kunst- og kulturarbeidere, som satte fagpolitikk, samfunnskritikk, og kulturinstitusjonenes rolle og prioriteringer på dagsordenen.  Samtidskunstens vilkår og plass i museet ble utfordret og førte til aksjoner. Salene i tredje etasje, der de fleste verk av den faste samlingen av samtidskunst var utstilt, var fortsatt uten elektrisk lys. Først i 1971 ble museet fullt ut elektrifisert.  

Plassmangelen førte til at gipsavstøpningene nok en gang kom i søkelyset. Dagbladet hadde allerede i 1954 gjort nye framstøt for å forvise «den skitne gipsen som alle andre museer kvitter seg med», og som opptok plassen til fordel for så mange andre nødvendige formål i et allerede overfylt museum.  

I 1973 ble Knut Berg (1925–2007) direktør, mens Sidsel Helliesen overtok Bergs jobb som leder av Kobberstikk- og Håndtegningsamlingen. Knut Berg revitaliserte og moderniserte museet, og den utadrettede og internasjonale virksomheten økte betraktelig. Berg hadde åpenbart større evne til å oppnå departemental velvilje og gjennomslag enn forgjengeren. Antallet ansatte økte, det samme gjorde utlånsvirksomheten som kom til å utgjøre en betydelig og viktig del av museets virksomhet. De statlige bevilgningene til innkjøp ble forhøyet og nye statutter innført i 1978. Det viktigste nye var at Nasjonalgalleriets råd ble erstattet av et styre som institusjonens øverste organ, og at styret og innkjøpskomiteene ble atskilt. Ifølge tidligere vedtekter utgikk innkjøpskomiteene fra råds- medlemmene. Innsamling, dokumentasjon og forskning ble vesentlig styrket i Bergs direktørtid. To ganger var Nasjonalgalleriet kandidat til Norges allmennvitenskapelige forskningsråds utmerkelse for fremragende forskning

Det hadde allerede vært debatt om Nasjonalgalleriets trangboddhet og samtidskunstens stemoderlige behandling da Nasjonalgalleriet etter en selvpålagt fredningstid sendte den første formelle søknaden om utvidelse i 1959, etter press fra andre aktørers interesse for Tullinløkka. Tretten år etter søknaden om utvidelse, ble det i 1972 utlyst en  arkitektkonkurranse for et nytt museumsbygg, der arkitektfirmaet Lund & Slaatto stod bak vinnerforslaget. Bygget skulle binde sammen Historisk Museum og Nasjonalgalleriet. Vinnerutkastet ble nedfelt i en reguleringsplan i 1978, men det hele strandet på grunn av uenighet og pengemangel.

Fjernmagasineringer og omfattende ominnredninger ble løsningen for å bøte på museets desperate plassmangel og for å kunne følge opp ambisjonene om visninger av store, temporære utstillinger. I samarbeid med vinnerne av arkitektkonkurransen i 1972, ble utallige innvendige ombygninger utført mellom 1974 og 1984. Fra midten av 1980-tallet kom forslagene til bebyggelse av Tullinløkka på løpende bånd, både fra offentlig og privat hold. Håpet om en utvidelse av Nasjonalgalleriet viste seg imidlertid å være fjernere enn på lenge. I Stortingsmelding nr. 23 Kulturpolitikk for 1980-åra het det: «I den nåværande økonomiske situasjonen og med den store byggjeaktiviteten vi elles har i Oslo på kulturområdet i åra framover, reknar ikkje departementet med at utbygginga på Tullinløkka kan bli gjennomført på nokså mange år». Den lengste vedvarende enkeltsaken i museets historie, byggesaken, fikk et midlertidig pusterom etter opprettelsen av Museet for samtidskunst i 1988.

Tone Skedsmo (1946-2002) overtok som direktør i 1995, og samme år ble det utlyst en ny arkitektkonkurranse for Nasjonalgalleriet og Universitets oldsaksamling. Arkitektfirmaet Telje-Torp-Aasen Arkitektkontor A/S vant førstepremie med «Duett II», men også denne konkurransen rant ut i sanden. Nasjonalgalleriet og naboen, universitetet, måtte i årenes løp konkurrere med andre byggeprosjekter rundt i landet og i Oslo spesielt. I flere årtier vant parkeringsplass for bilene i kampen om Tullinløkka. Dagens tre vernede monumentalbygg rundt tomta er i seg selv minnesmerker over framveksten av Oslo som hovedstad og Norge som en selvstendig og demokratisk nasjon. I 2003 ble Nasjonalgalleriet innlemmet i storfusjonen Nasjonalmuseet for kunst, arkitektur og design. Foruten Nasjonalgalleriet bestod det nye museet av Kunstindustrimuseet, Riksutstillinger, Norsk Arkitekturmuseum og Museet for Samtidskunst. I 2019 startet flyttingen til nybygget ved Aker brygge.