عندما فتح عمرو بن العاص رضي الله عنه مصر عام 642 ميلادية، وبعد معارك استمرت ما يقرب من العامين، وتعلب ابن العاص علي الإمبراطور البيزنطي فلافيوس أغسطس هرقل ورجاله في مصر، أراد أن يبني للمسلمين جامعًا واسعًا في موقع مناسب، ليُصبح واحة أمن وسلام بعيدًا عن الحصون والقلاع، وليُصبح أول جامع يُبني بالقاهرة، أبي الإسلام أن يبني علي قهر أحد أهل الزمة من أهل الكتاب، مما دعي البطريرك بينيامين أن يسمي ذلك العهد بعهد السلامة والأمان.

جاءت فكرة إنشاء جامع في العاصمة، والتي أطلق عليها الفسطاط، ويُعتقد أن الإسم جاء من الفسطاط أو الخيمة التي كانت مسكنًا لعمرو بن العاص، ليكون أول مسجد في القاهرة، وثاني أقدم مسجد في مصر، وذلك بعد مسجد سادات قريش بمحافظة الشرقية، والذي تم بناؤه بعد أن  دخل سيدنا عمرو مصر من الشرق، ولم يجد مقاومة تذكر إلا قرب مدينة بلبيس، وذلك في سنة 18 هجريًا، وسقط فيها عدد من شهداء المسلمين اثناء قتالهم مع الحامية الرومانية، وكان الروم قد تحصنوا فيها بقيادة الأرطبون، وكان بها "أرمانوسة" ابنة المقوقس، وقد جهزها بأموالها وجواريها وغلمانها وهي في طريقها نحو قيسارية لِتتزوج من قسطنطين بن هرقل، وتكريما لهم تم إنشاء مسجد يحمل اسم سادات قريش.

في عام 21 هجريًا، اختار عمرو بن العاص مكانًا فريدًا لانشاء مسجد جامع، وكانت تلك المنطقة في ذلك الوقت عبارة عن حديقة مملوكة لقيسبة بن كلثوم، طلبها منه وقد وعده بأن يعوضه، ولكن قيسبة تبرع بها، وكان الموقع يقع في منتصف مدينة الفسطاط العاصمة، بلغت مساحته وقت بنائه حوالي 23 مترًا في 13 مترًا، وكان يطل علي النيل من الناحية الشمالية الغربية، في البداية عندما تم الإنشاء، كانت الأرض يغطيها الحصي، والسقف صُنع من الجريد المحمول علي أعمدة من جذوع النخل نفسه، وكان للجامع ستة أبواب من كل جانب عدا جانب القبلة، وكان به بئرا سُمي بالبستان يستخدمه المُصلين للوضوء والشرب.

لم يكن للجامع صحن أو مئذنة، كما لم يكن له محرابًا، ولكن كان يحتوي علي منبرًا بناه عمرو بن العاص، ولكن الفاروق عمر بن الخطاب أمر بإزالته، وذلك بعد أن قال لعمرو بن العاص: "أما حسبك أن تقوم قائمًا، والمسلمون جلوس عند عقيبيك"، وقد أشرف علي بناء القبلة ثمانون رجلا من الصحابة منهم الزبير ابن العوام، والمقداد بن الأسود، وعبادة بن صامت، وأبو الدرداء، وأبو ذر الغفاري، وكانت دروس الفقه تعقد في حلقة حول المدرس الذي يجلس إلي أحد الأعمدة، ويعتبر مؤسس مدرسة مصر الدينية، هو عبدالله بن عمرو بن العاص.

شهد جامع عمرو بن العاص العديد من التجديدات والتوسعات طيلة تاريخه، فقد تم هدمه وتوسيعتة أكثر من مرة، أولها في عهد مسلمة بن مخلد الأنصاري والي مصر من قبل معاوية بن أبي سفيان وأقام فيه أربع مآذن، ولكن أهم تلك التعديلات كانت في عهد قرة بن شريك والي مصر أثناء خلافة الوليد بن عبد الملك الأموي، وذلك خلال الفترة من عامي 709 حتي 715 ميلادي، فقد قام  بهدمه وزاد في مساحته وأنشأ فيه محرابًا مجوفًا، ومنبرًا خشبيًا ومقصورة، وفي الدولة العباسية، ابان حكم المأمون، وكان الوالي علي مصر عبد الله بن طاهر، قام بتوسعتة المسجد حتي وصل إلي 112 مترًا في 120 مترًا، في عهد الدولة الطولونية، قام خماروية ابن طولون بإعادة عمارة ما تهدم من المسجد، وهو ما كلف 6400 دينارًا.

وفي عهد الدولة الأخشيدية، زادت أعمال الزخرفة، من طلاء بالذهب والفضة ونقوش الفسيفساء، وعلي الرغم أن الجامع الأزهر كان المسجد الرسمي للدولة الفاطمية، إلا أن جامع عمرو حظي بالإهتمام، حيث اقاموه علي 400 عمود من الرخام، وكان الإختلاف بينه وبين جامع الأزهر في حلقات الدرس فقط، ففي الأزهر كانت تسمي حلقات لمدرسين مدفوعة الأجر، في جامع عمرو فكانت تُسمي بـ"زوايا" لإعلام الشيوخ والمتصوفين السُنة، والذين نذروا علمهم لله دون مقابل.

تعرض مسجد عمرو بن العاص للحريق والتخريب والهدم بسبب حريق نشب في مدينة الفسطاط، فقد قام الوزير شاور بن مجير السعدي، وزيرا الخليفة العاضد لدين الله الفاطمي، بإشعال النار في المدينة خوفًا من أن يستولي عليها الصليبيين، فتهدم المسجد، وبعد أقل من أربعة سنوات حكم صلاح الدين الأيوبي مصر، وفي عهده أمر بإعادة إعمار المسجد من جديد، فأعيد بناء صدر الجامع والمحراب الكبير الذى تغطى بالرخام، وخلال حكم والي مصر مراد بك، الدولة المملوكية، قام بتجديد سقفه وفرشه بالحصر وعلق به القناديل، وذلك خلال فترة حكمة خلال عامي 1784 و1785، وقد أثبت قيامه بهذا التجديد على أربع لوحات رخامية، وكان يصلي فيه الجمعة الأخيرة من رمضان، وصار ذلك نهج لبعض حكام المماليك وما جاء بعدهم.

شهد العصر الحديث العديد من التوسعات التي طالت جامع عمرو بن العاص، فقد قام محمد علي باشا بإصلاح الجامع وأعاد إلية صلاة الجمعة من جديد، وفي عام 1899 قام ديوان الأوقاف بتجديد سقف الإيوان القبلي وبعض من الإيوان الغربي، وأقيمت جدرانه وفرشت أرضه بالبلاط، وفي عام 1940 قامت لجنة حفظ الآثار العربية بإصلاح شامل بالجامع، وقد كشفت في أثناء هذا العمل عدة أجزاء أثرية في الجامع، كأبوابه الشرقية وثلاثة من أبوابه الأربعة بالجنب الغربي.

يعلو مسجد عمرو بن العاص مئذنتان، إحداهما في المدخل والواجهة، والثانية فوق الزاوية القديمة، وهما ذاتا طرز عثمانية إلا أنهما قصيرتان، سمي الجامع بالعديد من الأسماء، مثل الجامع العتيق، أو تاج الجوامع، ويظن الغالبية من الناس الي الضريح الموجود به هو ضريح سيدنا عمرو رضي الله عنه، ولكنه في واقع الأمر ضريح ابنه عبدالله بن عمرو ابن العاص، ومن غرائبه أن هناك ديانة خارجة عن الإسلام، اسمها البهرة، وهم شريحة موجودة في مصر والهند، يأتون قبل موعد صلاة الجمعة بساعتين، وذلك ليصلو فيه ويرحلوا قبل الصلاة.

طيلة قرون عديدة اهتم الحكام المصريين بترميم وتوسعة جامع عمرو بن العاص، حتي قال فيه ابن دقماق: "ان مسجد عمرو بن العاص إمام المساجد، ومطلع الأنوار اللوامع، طوبي لمن حافظ علي الصلوات فيه وواظب علي القيام بنواحيه"، كما نقش أحد المحرابين علية قائلًا: "انظر لمسجد عمر بعد ما درست، رسومه يحكي الكوكب الزاهي، نعم العزيز الذي لله جدده أمير اللوام مراد الأمير الناه، له ثواب جزيل غير منقطع على الدوام بأنظار وأشباه، لاح القبول عليه حين أرخه هذا البناء على مراد الله.

أما عن أهم الأمة والمشايخ الذين ألقوا دروسهم وخطبهم في ذلك الجامع العتيق، فيأتي علي رأسهم الإمام أبو عبد الله محمد بن إدريس الشافعي، ثالث الأئمة الأربعة لدي أهل السنة والجماعة، وشيخُ الإسلام الإمام الحافظ العالم أبو الحارث الليثُ بن سعد، والشيخ أبو محمد عز الدين عبد العزيز بن عبد السلام، والمُلقب بسلطان العلماء وبائع الملوك وشيخ الإسلام، وصاحب السيرة عبد الملك بن هشام، أو ابن هشام، هو أبو محمد عبد الملك ابن هشام بن أيوب الحميري، وغيرهم من أئمة الشيوخ.