ền Bạch Mã nằm ở phường Hà Khẩu, huyện Thọ Xương (nay thuộc Hà Nội). Đền này được lập ra vào khoảng cuối thế kỉ thứ IX. Sách Đại Nam nhất thống chí (quyển 13) khi giới thiệu về đền miếu của Hà Nội, đã dẫn sách Việt điện u linh tập của Lý Tế Xuyên, viết rằng:

"Vào đời Đường Hàm Thông, (quan đô hộ của nhà Đường ở nước ta là) Cao Biền đã cho đắp thành Đại La. Một hôm, Cao Biền ra chơi ngoài cửa Đông của thành, chợt thấy trong chỗ mây mù tối tăm, có bóng người kì dị, mặc áo hoa, cưỡi rồng đỏ, tay cầm thẻ bài màu vàng, bay lượn mãi theo mây. (Cao) Biền kinh sợ, định lấy bùa để trấn yểm. Bỗng đêm hôm ấy thấy thần báo mộng rằng:

- Ta là tinh anh ở Long Đỗ, nghe tin ông đắp thành nên đến để hội ngộ, việc gì mà phải trấn yểm?

(Cao) Biền lấy làm kì lạ, bèn lấy vàng, đồng và bùa chôn xuống để trấn yểm. Chẳng dè, ngay đêm đó mưa gió sấm sét nổi lên dữ dội, sáng ra xem, thấy vàng, đồng và bùa (trấn yểm) đều đã tan thành cát bụi. (Cao) Biền sợ hãi, bèn lập đền thờ ở ngay chỗ ấy và phong cho thần là thần Long Đỗ.

Đến đời Lý Thái Tổ (húy là Lý Công uẩn, vua đầu tiên của nhà Lý, làm vua từ năm 1010 đến năm 1028 - NKT), dời kinh đô đến đấy, đổi gọi (Đại La) là Thăng Long. Nhà vua sai đắp lại thành, nhưng hễ thành đắp xong lại lở, bèn sai người đến cầu đảo (ở thần Long Đỗ). Chợt, (người cầu đảo) thấy có con ngựa trắng từ trong đền đi ra, dạo quanh thành một vòng, đi tới đâu, để vết chân rành tại đó, và cuối cùng, vào đền rồi biến mất. Sau, Nhà vua cứ theo vết chân ngựa mà đắp thành thì thành không lở nữa, bèn nhân đó, phong làm thành hoàng của Thăng Long. Các vua đời sau cũng theo đó mà phong lần tới Bạch Mã Quảng Lợi Tối Linh Thượng Đẳng Thần".

Lời bàn:

Thời Bắc thuộc, Cao Biền được coi là một trong những nhân vật rất có máu mặt: quan cai trị có tài cũng là Cao Biền mà đạo sĩ có nhiều phép thuật lạ cũng là Cao Biền. Triều đình nhà Đường trên bước đường sụp đổ, muốn tạo dựng cho Cao Biền một lí lịch khác thường để có thể vực dậy một chính quyền đô hộ cũng đang có nguy cơ tan rã. Cho nên trong sử, Cao Biền bỗng có thêm nhiều thứ mà thực sự Cao Biền chưa hề có bao giờ.

Tuy nhiên, vỏ quýt dày, móng tay nhọn nhân dân ta cũng có cách đấu tranh thông minh theo kiểu riêng của nhân dân ta, lúc bấy giờ. Việc Bạch Mã thần coi thường mọi phép thuật của Cao Biền, lại còn làm cho mọi thứ trù yểm của Cao Biền phút chốc biến thành cát bụi, có khác nào một lời nhắc nhở âm thầm mà mạnh mẽ rằng: hãy vững tin, chúng ta nhất định thắng vì thần linh sông núi luôn ở bên cạnh chúng ta!

Trông lại ngàn xưa, suy gẫm việc thờ thần của cổ nhân mới rõ, đền miếu và hương khói, tượng thờ và bài vị... tất cả chỉ là hình thức, một hình thức huyền ảo mà dễ nhận, cốt để chuyển tải đến muôn đời sự tôn vinh những giá trị tốt đẹp của thế tục đó thôi.