日本とギリシャの交流は、1899年 (明治32年) 6月に両国の間で修好通商航海条約が結ばれたことに始まります。1922年3月、日本はギリシャに公使館を開設しますが、第二次世界大戦中 (1935－45) は閉鎖となり、サンフランシスコ講和条約の締結後、両国の外交関係は復活します。1956年3月に再開された日本公使館は1960年1月に大使館となりました。1956年5月、両国は査証取極め、1973年1月、航空協定、1981年3月には文化協定を結んでいます。一方、ギリシャも1960年1月、東京に大使館を開設しました。
両国の関係は、伝統的に友好関係にあり、近年では要人の往来が頻繁になっています。