การเชื่อมโยงเซลล์ประสาทเทียมจำนวนหนึ่งเข้าด้วยกันเป็นโครงข่ายประสาทเทียมนั้นสามารถเชื่อมโยงแบบใดก็ได้อย่างไม่ขอบเขตจำกัด อย่างไรก็ตามในทางปฏิบัติแล้วเทคนิคการเรียนรู้ของโครงข่ายประสาทเทียมมักจะถูกออกแบบมาให้ใช้งานได้กับสถาปัตยกรรมโครงข่ายประสาทเทียมที่มีลักษณะเฉพาะเท่านั้น สถาปัตยกรรมโครงข่ายประสาทเทียมที่พบทั่วไปจะมีลักษณะหลัก ๆ คือ มีการจัดเซลล์ประสาทเทียมเป็นชั้น ๆ (layer) ชั้นที่รับข้อมูลเข้าเรียกว่า ชั้นอินพุท (input layer) ชั้นที่ผลิตผลตอบของโครงข่ายเรียกว่า ชั้นเอาท์พุท (output layer) ส่วนชั้นอื่น ๆ ที่มีส่วนในการช่วยทำการประมวลผลอยู่ภายในเรียกว่า ชั้นซ่อน (hidden layer) ในโครงข่ายประสาทเทียมอาจมีชั้นซ่อนได้หลายชั้นโครงสร้างพื้นฐานจะมีลักษณะเป็นการประกอบกันของรูปแบบ ดังต่อไปนี้
อาจจัดได้เป็นสองแบบย่อย คือ แบบมีชั้นของเซลล์ประสาทชั้นเดียวและแบบมีชั้นของเซลล์ประสาทหลายชั้น โดยปกติแล้วการเชื่อมโยงจะถูกกำหนดขึ้นระหว่างชั้นที่ติดกันโดยจะมีการเชื่อมโยงระหว่างเซลล์ประสาทเทียมทุกตัวจากชั้นหนึ่ง ๆ ไปยังเซลล์ประสาทเทียมทุกตัวในชั้นต่อไป ในบางสถาปัตยกรรมอาจมีการเชื่อมโยงข้ามชั้นก็ได้
ในสถาปัตยกรรมบางแบบโครงข่ายประสาทเทียมอาจมีการเชื่อมโยงที่ถูกำหนดขึ้นระหว่างเซลล์ประสาทเทียมในชั้นหนึ่ง ๆ ย้อนกลับไปยังชั้นอื่น ๆ ก่อนหน้านั้นหรือแม้แต่ภายในชั้นเดียวกันเอง