北河胡同东起北河沿大街，西至东板桥街，南与水簸箕胡同相通，北与焕新胡同、火药局头条、火药局六条相通。
北河胡同在元朝为一条河道，属通惠河的一段。在通惠河进入积水潭时，要过澄清闸。当时的积水潭水面宽广，包括今日的积水潭、后海和前海。澄清闸也分上中下三闸。在北河的西端向北折不远是澄清闸的中闸，河的东端是澄清闸的下闸。当时积水潭是北运河的终点，从南方来的漕船从通州张家湾沿通惠河可直驶入积水潭，而北河胡同所在的河段是漕船的必经之地，又处于两闸之间，河内经常停泊大量漕船。入明以后，北河的流水仍很顺畅。在河的西端有桥名东板桥。由东板桥向东，沿河还有头道、二道、三道桥，岸边垂柳摇翠，河坡绿草如茵，四邻人家傍河居住，风光秀美，好似村野水乡，环境幽雅静谧。清朝宣统时称北河沿。为皇城内御河之一段，用作排泄污水的水沟。由于多年失修，当时污水污物淤积其中，雨季河水常溢出河槽，臭气熏天。建国后将此河建成地下管道，土面铺设马路，即现在的北河沿大街。1965年整顿地名时将此段从北河沿大街分出来，又把二道桥并入，命名为北河沿。