Gửi tin nhắn

Tin tức

June 30, 2022

Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS

Sự phát triển của cảm biến hình ảnh CMOS và triển vọng sử dụng các công nghệ hình ảnh tiên tiến hứa hẹn sẽ cải thiện chất lượng cuộc sống.Với sự xuất hiện nhanh chóng của công nghệ chuyển đổi tín hiệu tương tự sang số (ADC) và công nghệ chiếu sáng mặt sau (BI) song song, cảm biến hình ảnh CMOS hiện đang thống trị thị trường máy ảnh kỹ thuật số, trong khi cảm biến hình ảnh CMOS xếp chồng lên nhau tiếp tục cung cấp chức năng nâng cao và trải nghiệm người dùng.Bài báo này đánh giá những thành tựu gần đây của cảm biến hình ảnh xếp chồng trong sự phát triển của kiến ​​trúc cảm biến hình ảnh để tăng tốc cải tiến hiệu suất, mở rộng khả năng cảm biến và kết hợp tính toán biên với các công nghệ thiết bị xếp chồng khác nhau.
Cảm biến hình ảnh hiện đang được sử dụng trong nhiều ứng dụng.Kể từ khi phát minh ra thiết bị kết hợp điện tích (CCD) vào năm 1969, cảm biến hình ảnh trạng thái rắn đã lan rộng đến nhiều thị trường tiêu dùng khác nhau, chẳng hạn như máy quay video nhỏ gọn và máy ảnh kỹ thuật số.Cảm biến hình ảnh CMOS, là cảm biến hình ảnh thể rắn chủ đạo từ năm 2005, được xây dựng dựa trên công nghệ được phát triển cho CCD.Ngoài điện thoại thông minh, thị trường cảm biến hình ảnh lớn nhất hiện nay, nhu cầu về cảm biến hình ảnh đang nhanh chóng mở rộng, bao gồm camera mạng cho an ninh, thị giác máy cho tự động hóa nhà máy và camera ô tô cho hệ thống lái xe hỗ trợ và lái xe tự động.
Một bước ngoặt lớn trong công nghệ cảm biến hình ảnh CMOS là sự phát triển thành công của cảm biến hình ảnh chiếu sáng mặt sau (BI), cho phép phát triển cấu trúc xếp chồng lên nhau của cảm biến hình ảnh, như trong Hình 1. Trong cấu trúc chiếu sáng phía trước (FI) ban đầu , rất khó để giảm kích thước điểm ảnh của cảm biến vì ánh sáng tới phải được diode quang thu thập thông qua một khe hở được bao quanh bởi các đường kim loại.Cấu trúc chiếu sáng mặt sau (BI) đã cải thiện đáng kể độ nhạy và cho phép tính linh hoạt trong định tuyến kim loại, và nó đã trở thành một sản phẩm phổ biến cho cảm biến hình ảnh do liên kết wafer và kỹ thuật làm mỏng wafer cực kỳ đồng đều.Cảm biến hình ảnh đang dần phát triển theo hướng cấu trúc xếp chồng lên nhau, trong đó các mạch logic được tích hợp trực tiếp trên tấm wafer cơ sở.Quá trình xếp chồng cho phép mức độ tích hợp cao hơn của các bộ chuyển đổi tương tự-kỹ thuật số (ADC) song song cao và các phần tử xử lý tín hiệu trong các quy trình CMOS nâng cao hơn, không phụ thuộc vào quy trình cảm biến được tùy chỉnh cho các điốt quang pixel.Cấu trúc thiết bị xếp chồng lên nhau tiếp tục thay đổi đáng kể kiến ​​trúc cảm biến hình ảnh.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  0

Hình 1. Cấu trúc của một cảm biến hình ảnh CMOS.(a) cấu trúc FI, (b) cấu trúc BI, và (c) cấu trúc xếp chồng với vias.
Bài báo này xem xét các xu hướng trong kiến ​​trúc cảm biến hình ảnh với các thiết bị xếp chồng lên nhau để tăng tốc đáng kể cải tiến hiệu suất, mở rộng khả năng cảm biến và tích hợp khả năng tính toán biên được kết nối với lớp cảm biến.Phần thứ hai trình bày các kiến ​​trúc cảm biến khác nhau cho các cấu hình thiết bị xếp chồng lên nhau cho phép độ phân giải pixel cao và hình ảnh tốc độ khung hình cao thông qua các ADC song song cột-song song cao.Phần 3 trình bày một số mạch pixel nâng cao được triển khai bằng cách sử dụng kết nối Cu – Cu có độ phân giải pixel rất quan trọng để có hiệu suất pixel tốt hơn ở độ phân giải pixel thực tế.Các kết nối Cu-Cu cao độ pixel cũng cho phép các kiến ​​trúc cảm biến tiến tới số hóa song song pixel.Phần IV trình bày một số tiến bộ trong kiến ​​trúc cảm biến giúp mở rộng khả năng cảm biến, chẳng hạn như độ sâu không gian, cảm nhận tương phản thời gian và hình ảnh ánh sáng vô hình.Phần V giới thiệu các cảm biến thị giác tích hợp máy gia tốc trí tuệ nhân tạo (AI) ở rìa.Cuối cùng, Phần VI đưa ra một số kết luận.
II.Quay phim với độ phân giải hơn megapixel
Quay phim yêu cầu tốc độ khung hình ít nhất là 30 hoặc 60 khung hình / giây (fps), ngay cả khi số lượng pixel đang tăng từ định dạng độ phân giải cao (HD) 2 megapixel lên định dạng 4K 8 megapixel.Ngoài ra, hoạt động tốc độ khung hình cao hơn, chẳng hạn như 120, 240 hoặc 1000 khung hình mỗi giây (fps), có thể cung cấp phát lại chuyển động chậm.Kể từ khi kiến ​​trúc ADC song song cột được đề xuất vào năm 1997, tốc độ khung hình đã được cải thiện bằng cách tăng số lượng ADC song song và tăng tốc hoạt động của chính ADC.Cấu trúc xếp chồng lên nhau giúp tối đa hóa tốc độ khung hình vì công nghệ xử lý tốt nhất có thể được áp dụng cho các pixel cảm biến và thiết bị ngoại vi.Việc chế tạo cảm biến đòi hỏi một số quy trình cấy ion để tạo thành điốt quang và bóng bán dẫn có độ rò rỉ tiếp giáp thấp.Tuy nhiên, quá trình logic yêu cầu điện trở thấp và bóng bán dẫn tốc độ cao.Đối với pixel, ba hoặc bốn lớp dây thường là đủ, nhưng khoảng mười lớp dây là cần thiết cho các mạch logic.Kỹ thuật xếp chồng được sử dụng có thể làm giảm bớt các ràng buộc xung đột của các cảm biến hình ảnh không xếp chồng trên cùng một chip, bao gồm các pixel cảm biến và mạch logic.
A. Kiến trúc ADC hạng kép
Hiện tại, hầu hết các cảm biến hình ảnh CMOS bao gồm một mảng pixel, hàng nghìn bộ ADC và các mạch logic được tổ chức theo cấu trúc cột song song.Như thể hiện trong Hình 2 (a), vias xuyên silicon (TSV) nằm bên ngoài mảng pixel kết nối các cột pixel với ADC theo kiểu song song cao.Trong cảm biến hình ảnh CMOS xếp chồng đầu tiên được giới thiệu vào năm 2013, các phần tương tự và kỹ thuật số của cột ADC được chia thành các chip trên và dưới, tương ứng như trong Hình 2 (b).Vào năm 2015, kiến ​​trúc ADC cột kép đã được đề xuất và đạt được tốc độ khung hình 120 khung hình / giây ở 16M pixel, trong đó ADC cột được chuyển hoàn toàn xuống chip dưới cùng, như thể hiện trong Hình 2 (c).Chip cảm biến được chế tạo bằng quy trình tùy chỉnh cảm biến 90nm cho các điốt quang, chỉ sử dụng logic NMOS.Các chip logic được chế tạo bằng quy trình CMOS 65 nanomet tiêu chuẩn.Vì ADC cột có thể được thực hiện độc lập với chip cảm biến, ADC có thể được tích hợp cao.Ngoài việc tăng tốc độ khung hình, các ADC song song dự phòng được sử dụng để giảm nhiễu bằng cách lấy trung bình nhiều chuyển đổi tương tự-kỹ thuật số (AD), như thể hiện trong Hình 3. Đầu ra của một pixel được phân phối cho hai ADC đồng thời và hai các đầu ra kỹ thuật số được tổng hợp để tái tạo khung hình ảnh.Các pha thời gian của hai bộ ADC hơi khác nhau để giảm nhiễu bằng cách giảm mối tương quan giữa các tín hiệu nhiễu của chúng.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  1

Hình 2. Triển khai cảm biến hình ảnh CMOS xếp chồng lên nhau.(a) Kết nối TSV giữa điốt quang và mạch logic.(b) Cảm biến hình ảnh CMOS xếp chồng đầu tiên.(c) Kiến trúc ADC hạng kép.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  2

Hình 3. Sơ đồ khối được đơn giản hóa (trái) và các đặc tính nhiễu được cải thiện (phải) của kiến ​​trúc ADC bậc kép.
B. Cảm biến hình ảnh CMOS xếp chồng ba lớp với bộ nhớ truy cập ngẫu nhiên động (DRAM)
Khi số lượng pixel và ADC song song tăng lên, cảm biến hình ảnh xuất ra một lượng lớn dữ liệu.Vào năm 2017, một cảm biến hình ảnh CMOS xếp chồng ba lớp đã được đề xuất để quay video chuyển động chậm ở tốc độ 960 khung hình / giây, như trong Hình 4;ba lớp được kết nối bằng vias xuyên silicon (TSV) và dữ liệu thu được từ ADC song song được lưu vào bộ đệm trong Lớp thứ hai của DRAM để thu được chuyển động chậm.Để ghi chuyển động siêu chậm, cảm biến có thể chạy ở tốc độ 960 khung hình / giây ở độ phân giải full HD trong khi dữ liệu kỹ thuật số từ ADC được tạm thời lưu vào bộ đệm DRAM qua bus 102-Gbit / s.Khi cảm biến phát hiện các kích hoạt của người dùng hoặc chuyển động nhanh trong cảnh khi quay phim 30 khung hình / giây, tốc độ đọc sẽ trở thành 960 khung hình / giây.Có thể lưu trữ tối đa 63 khung hình với độ phân giải full HD tại một thời điểm DRAM và xuất dữ liệu vào bộ đệm trong quá trình quay phim tiếp theo.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  3

Hình 4. Cảm biến hình ảnh CMOS xếp chồng ba lớp với DRAM
C. Đối với công nghệ chip-on-Wafer định dạng quang học lớn
Cảm biến hình ảnh CMOS xếp chồng được giới thiệu cho đến nay được chế tạo theo quy trình liên kết tấm wafer-on-wafer (WoW).Tuy nhiên, vì kích thước của cảm biến và chip logic phải giống nhau, nên quy trình này không phải lúc nào cũng là lựa chọn tốt nhất, đặc biệt là đối với định dạng quang học lớn.Một phương pháp xếp chồng khác liên quan đến liên kết CoW, như trong Hình 5 minh họa.Hiệu quả diện tích là tốt nhất trong liên kết WoW khi một chip logic có cùng kích thước với định dạng quang học được lấp đầy hoàn toàn bởi các bộ ADC và khối xây dựng kỹ thuật số có độ song song cao.Tuy nhiên, nếu mạch logic nhỏ hơn định dạng quang học, cấu hình CoW có hiệu suất vùng tốt nhất, trong khi cấu hình WoW có vấn đề về chi phí.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  4

Hình 5. Hiệu quả diện tích của quá trình liên kết WoW và CoW đối với cảm biến hình ảnh định dạng quang học lớn.
Một cảm biến hình ảnh CMOS xếp chồng lên nhau sử dụng quy trình liên kết CoW [12] đã được báo cáo vào năm 2016, hiện thực hóa một cảm biến hình ảnh màn trập toàn cầu cho các máy ảnh quảng bá có định dạng quang học siêu 35 mm.Ở đây, hai chip logic cắt lát được thiết kế theo quy trình CMOS 65 nm với các bộ ADC và microbumps song song và được xếp chồng lên nhau trên một chip cảm biến lớn được thiết kế riêng cho các pixel màn trập toàn cầu, như thể hiện trong Hình 6. Một chip logic cắt bỏ với mức cao tỷ lệ khung hình được kết nối với cảm biến thông qua microbumps có bước sóng 40 µm.Do đó, tổng số kết nối là khoảng 38 000. Cảm biến cũng cho phép phát lại chuyển động siêu chậm ở 480 fps thông qua 8 megapixel.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  5

Hình 6. Cảm biến hình ảnh CMOS xếp chồng sử dụng quy trình liên kết CoW.
Hình 7 cho thấy xu hướng hiệu suất của cảm biến hình ảnh định dạng quang học lớn, với 50 megapixel và 250 khung hình / giây cho cảm biến hình ảnh định dạng 35 mm đầy đủ vào năm 2021. Để tăng số lượng ADC song song và tăng dần bộ nhớ truy cập ngẫu nhiên tĩnh (SRAM) bộ đệm khung, quy trình WoW được sử dụng để đạt được hiệu suất cao.Mặt khác, quy trình CoW được sử dụng để cân bằng giữa hiệu quả chi phí với hiệu suất của các cảm biến định dạng quang học lớn.Cũng được giới thiệu vào năm 2021 là cảm biến hình ảnh 3,6 inch với 127 triệu điểm ảnh và bốn chip logic được xếp chồng lên nhau bằng quy trình CoW.Thách thức tiếp theo đối với quy trình CoW là tăng thông lượng đặt chip trên wafer để tăng năng suất.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  6

Hình 7. Xu hướng hiệu suất của cảm biến hình ảnh định dạng quang học lớn.
III.Kiến trúc song song Pixel
Trong phần trước, kiến ​​trúc cảm biến sử dụng các thiết bị xếp chồng lên nhau chủ yếu được sử dụng để tăng tốc độ khung hình của kiến ​​trúc dựa trên ADC song song cột.Phần này trình bày một số tiến bộ dựa trên kiến ​​trúc pixel-song song sử dụng các kết nối Cu-Cu có độ cao nhỏ.Ở đây, các kết nối giữa cảm biến và lớp logic đã được thay đổi từ TSVs thành kết nối Cu-Cu liên kết lai, như trong Hình 8 (a).Trong cấu hình TSV, các đường tín hiệu được chuyển đến lớp logic ở ngoại vi của mảng pixel.Ngược lại, các kết nối Cu-Cu có thể được tích hợp trực tiếp dưới pixel, và các kết nối này cho phép tăng số lượng kết nối.Các xu hướng mới nhất về khoảng cách kết nối Cu-Cu được thể hiện trong Hình 8 (b).Quá trình liên kết lai của cảm biến hình ảnh yêu cầu hàng triệu kết nối Cu-Cu không có khuyết tật kết nối, trong khi khoảng cách tiếp xúc giảm dần với kết nối ổn định của một số lượng lớn các tiếp điểm;hơn nữa, Cu-Cu 1-µm gần đây đã được báo cáo về khoảng cách liên kết lai.Các kết nối cao độ nhỏ này sẽ cho phép chế tạo các cấu trúc mạch pixel-song song ở các kích thước pixel thực tế.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  7

Hình 8. Các xu hướng giãn cách tiếp giáp Cu-Cu (a) cấu trúc thiết bị được đơn giản hóa và (b) mặt cắt ngang.
A. Mở rộng mạch pixel xếp chồng lên nhau
Nhiều kỹ thuật và cách triển khai đã được đề xuất trong tài liệu để cải thiện hiệu suất pixel thông qua mở rộng mạch pixel, chẳng hạn như công suất giếng đầy đủ (FWC) và triển khai các chức năng bổ sung, chẳng hạn như màn trập toàn cầu.Hình 9 (a) và (b) cho thấy cấu hình pixel cho độ lợi chuyển đổi đơn và độ lợi chuyển đổi kép, tương ứng.Các CFD điện dung nhỏ hơn chịu sự thay đổi điện áp cao từ quang điện tử để đọc tiếng ồn thấp, nhưng nó dễ dàng bị bão hòa bởi một số lượng lớn các điện tử tín hiệu.Tuy nhiên, các pixel có mức tăng chuyển đổi kép được chuyển đổi bằng hoạt động tuần tự giữa hai mức tăng chuyển đổi, cho phép đọc nhiễu thấp trên CFD và đọc dải động cao (HDR) trên CDCG;Ngoài ra, diện tích của các bóng bán dẫn và tụ điện bổ sung Độ phân giải pixel cao đạt được bằng cách giới hạn số lượng mà kích thước pixel có thể được giảm xuống.Vào năm 2018, một phần mở rộng mạch pixel xếp chồng lên nhau với độ lợi chuyển đổi gấp đôi đã được đề xuất;các mạch bổ sung đã được thực hiện trên chip dưới cùng thông qua các kết nối Cu-Cu pixel song song, như thể hiện trong Hình 9 (c).Bằng cách chuyển đổi giữa các mức tăng chuyển đổi 20 và 200 µV / e-, một pixel 1,5 µm đã được hiển thị thành công với dải động là 83,8 dB và tiếng ồn thấp là 0,8 e-rms.Như trong Hình 10, cấu hình mạch xếp chồng mức pixel đã được áp dụng cho chức năng màn trập toàn cục miền điện áp và pixel có độ lợi chuyển đổi kép.2019 đã trình diễn pixel màn trập toàn cầu 2,2 µm với hiệu suất màn trập hơn 100 dB.Các pixel hiện đại với độ lợi chuyển đổi kép và màn trập toàn cầu miền điện áp đạt được kích thước pixel tương ứng là 0,8 µm và 2,3 µm mà không cần chia tỷ lệ mạch xếp chồng mức pixel;tuy nhiên, các cấu hình pixel xếp chồng lên nhau vẫn được kỳ vọng sẽ nâng cao hiệu suất pixel cho các pixel nhỏ hơn.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  8

Hình 9. Cấu hình mạch điểm ảnh (a) với độ lợi chuyển đổi đơn, (b) với độ lợi chuyển đổi kép, và (c) với độ lợi chuyển đổi kép và các điểm ảnh xếp chồng lên nhau có kết nối Cu-Cu song song.
tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  9

Hình 10. Cấu hình mạch pixel của màn trập toàn cầu miền điện áp xếp chồng lên nhau thông qua các kết nối Cu-Cu song song pixel.
B. Pixel ADC song song
Kể từ khi khái niệm số hóa song song pixel được đề xuất vào năm 2001, các cảm biến hình ảnh xếp chồng kết nối Cu-Cu với pixel song song với các quá trình liên kết lai cũng đã được đề xuất.Chi phí khu vực bên trong pixel trong các mạch phức tạp chắc chắn hạn chế độ phân giải pixel, nhưng vào năm 2017, cảm biến hình ảnh xếp chồng 4,1 megapixel với kiến ​​trúc ADC song song mảng đã được đề xuất, tiếp theo vào năm 2018 là cảm biến hình ảnh xếp chồng ADC song song 1,46 megapixel.Kiến trúc ADC song song pixel đã đạt được độ phân giải Mpixel do các kết nối Cu-Cu bước nhỏ của quá trình liên kết lai.Như thể hiện trong Hình 11, ADC một dốc được sử dụng trong kiến ​​trúc song song pixel và song song cột truyền thống, nhưng không có mạch theo nguồn.Bộ khuếch đại bóng bán dẫn trong pixel được tích hợp trực tiếp vào bộ so sánh, kết nối từng pixel với chip phía dưới thông qua hai kết nối Cu-Cu.Do giới hạn về diện tích của bộ đếm, mã Xám được chỉ định cho các chốt trong pixel và các đường dẫn đọc kỹ thuật số đã được thực hiện bằng cách sử dụng ADC trong mảng pixel.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  10

Hình 11. Cấu hình mạch của ADC song song pixel.
Hình 12 (a) cho thấy một chip nguyên mẫu có kiến ​​trúc ADC song song pixel;mặc dù mỗi ADC được thực hiện với bước pixel chỉ 6,9 µm, trong đó dòng điện tĩnh của bộ so sánh được giới hạn ở 7,74 nA, tầng nhiễu do điều khiển băng thông hiệu quả bị giảm xuống 8,77 e-rms.Tất cả các ADC song song pixel hoạt động đồng thời như một màn trập chung;do đó, như trong Hình 12 (c), không quan sát thấy hiện tượng méo mặt phẳng tiêu cự của cửa trập như trong Hình 12 (b) được quan sát thấy trong các ảnh được chụp bằng nguyên mẫu.Kiến trúc ADC song song pixel tiếp tục được phát triển.Công trình gần đây nhất vào năm 2020 cho thấy độ cao điểm ảnh là 4,6 µm, dải động 127 dB và độ ồn 4,2e-rms, và công việc là 4,95 µm và nhiễu 2,6e-rms.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  11

Hình 12. Triển khai trên chip của ADC song song pixel.(a) Ảnh hiển vi của chip.(b) Hình ảnh được chụp bằng thao tác cửa trập lăn và (c) sử dụng thao tác cửa trập toàn cầu.
C. Bộ đếm Photon song song Pixel
Chụp ảnh đếm photon, còn được gọi là ảnh lượng tử, là một kỹ thuật đầy hứa hẹn cho phép chụp ảnh với khả năng đọc không nhiễu và tạo ảnh dải động cao (HDR).Cảm biến hình ảnh đếm photon sử dụng điốt tuyết lở đơn photon (SPAD) là một trong những thách thức của số hóa song song pixel thông qua kỹ thuật xếp chồng.Dòng tuyết lở được kích hoạt bởi một quang điện tử duy nhất và trong trường hợp không có bất kỳ tiếng ồn nào từ mạch phía trước tương tự, sự kiện có thể được xem kỹ thuật số dưới dạng số lượng photon.Điều này yêu cầu thực hiện các mạch phức tạp cho mỗi SPAD;trong khi cấu trúc thiết bị xếp chồng lên nhau với các kết nối pixel có tiềm năng cho hình ảnh đếm photon tích hợp cao.
Một cảm biến hình ảnh đếm photon SPAD có dải động 124 dB và sử dụng kiến ​​trúc ngoại suy khung phụ đã được báo cáo vào năm 2021. Một mảng pixel điốt tuyết lở đơn photon (BI) chiếu sáng mặt sau (SPAD) được xếp chồng lên chip phía dưới và mạch đọc được kết nối qua Cu-Cu pixel-song song, như thể hiện trong Hình 13 (a).Hình 13 (b) là một giản đồ của một đơn vị pixel.Mỗi pixel có một bộ đếm gợn kỹ thuật số 9-b (CN) để đếm số lượng photon tới.Mang tràn (OF) từ bộ đếm được đưa trở lại mạch dập tắt để điều khiển kích hoạt SPAD và chốt mã định thời (TC).Mã định thời 14-b (TC) sau đó được gán cho tất cả các pixel và ghi đè bộ đếm khi cờ OF thay đổi, như thể hiện trong sơ đồ thời gian ở Hình 14. Đọc ra số lượng 9-b của photon hoặc TC 14-b đã chốt và thu được tất cả số lượng photon một cách chính xác trong điều kiện ánh sáng yếu mà không bị tràn bộ đếm.Tuy nhiên, khi bộ đếm tràn trong điều kiện ánh sáng chói, pixel tràn sẽ ghi lại thời gian và ngoại suy số lượng photon tới thực tế trong suốt quá trình phơi sáng.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  12

Hình 13. Cảm biến ảnh đếm photon.(a) Cấu hình chip.(b) Sơ đồ mạch pixel đơn giản hóa.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  13

Hình 14. Biểu đồ thời gian để đếm photon và ngoại suy khung con.
Như trong Hình 15 (a), dải động 124 dB đã được chứng minh mà không có bất kỳ sự suy giảm nào về tỷ lệ tín hiệu trên nhiễu (SNR).SNR sau khi tràn bộ đếm trong điều kiện ánh sáng chói vẫn ở mức 40 dB trong phạm vi động mở rộng, vì các hoạt động đếm photon thực có thể đếm tới 10 240 photon hoặc 9 bit × 20 khung con.Hình 15 (b) cho thấy một hình ảnh HDR được chụp ở 250 khung hình / giây;do màn trập toàn cầu và hoạt động HDR 20 khung phụ, không có hiện vật chuyển động nào được quan sát ngay cả với quạt quay 225 vòng / phút.Phép ngoại suy 20 khung con triệt tiêu hiệu quả các hiện tượng tạo chuyển động, như thể hiện trong Hình 15 (c).SPAD yêu cầu điện áp phân cực cao khoảng 20 V và kích hoạt song song pixel của các đầu dò ở điện áp cung cấp thấp.Các điểm ảnh SPAD có cao độ nhỏ thường khó đạt được do thiết bị bị cô lập giữa các điện áp cung cấp khác nhau.Tuy nhiên, cấu trúc thiết bị xếp chồng phân tách hiệu quả các lớp logic SPAD và CMOS, do đó đẩy nhanh sự phát triển của các cấu hình pixel nhỏ với SPAD và chức năng mở rộng.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  14

Hình 15. Kết quả đo đếm photon.(a) Dải động và tỷ lệ tín hiệu trên nhiễu.(b) Hình ảnh HDR đã chụp.(c) Hình ảnh được chụp có triệt tiêu tạo tác chuyển động.
IV.Mở rộng khả năng cảm biến
Ngoài phạm vi động được giới thiệu trước đây và khả năng cửa trập toàn cầu, công nghệ thiết bị xếp chồng lên nhau không chỉ nâng cao chất lượng hình ảnh của kiến ​​trúc cảm biến mà còn nâng cao khả năng cảm biến như độ sâu không gian, cảm nhận độ tương phản theo thời gian và hình ảnh ánh sáng vô hình.
A. Chiều sâu không gian
Như được mô tả trong Phần III-C, cấu trúc thiết bị xếp chồng với liên kết lai Cu-Cu là một cách tiếp cận đầy hứa hẹn cho công nghệ SPAD thực tế trong một loạt các ứng dụng và giảm độ cao điểm ảnh SPAD xuống dưới 10 µm.Để cải thiện hiệu quả phát hiện photon (PDE) và giảm nhiễu xuyên âm quang học với độ phân giải pixel nhỏ, mảng pixel BI SPAD bao gồm cách ly rãnh đầy đủ (FTI) và liên kết Cu-Cu đã được báo cáo vào năm 2020. Như thể hiện trong Hình 16, trong BI xếp chồng lên nhau SPAD cấu trúc, mảng pixel SPAD hoàn toàn mở đối với ánh sáng tới và tất cả các bóng bán dẫn pixel được thực hiện trên chip phía dưới.FTI được chôn bằng kim loại giúp triệt tiêu nhiễu xuyên âm với các điểm ảnh liền kề.Các pixel SPAD có bước sóng 10 µm có lớp silicon dày 7 µm để cải thiện độ nhạy của phép đo quang phổ cận hồng ngoại (NIR) và đạt được PDE cao hơn 31,4% và 14,2% ở bước sóng 850 nm và 940 nm, tương ứng.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  15

Hình 16. Cấu trúc thiết bị SPAD.(a) TỐC ĐỘ FI.(b) SPAD xếp chồng lên nhau BI.
Vào năm 2021, cảm biến thời gian bay trực tiếp (ToF) 189 × 600 SPAD sử dụng BI-stacked SPAD được báo cáo cho các hệ thống LiDAR trên ô tô.Tất cả các mạch đầu cuối pixel được thực hiện trong chip bên dưới dưới mảng SPAD, như thể hiện trong Hình 17. Trong hệ thống LiDAR, khi nhận được một xung laser phản xạ, SPAD tạo ra một xung kích hoạt với thời gian chết là 6 ns và truyền nó tới bộ chuyển đổi thời gian sang kỹ thuật số (TDC).Các chip trên và dưới sử dụng quy trình SPAD 90 nm và CMOS 40 nm với 10 lớp đồng tương ứng.Do cấu trúc xếp chồng lên nhau, cảm biến bao gồm một mạch phát hiện trùng hợp, TDC và bộ xử lý tín hiệu kỹ thuật số (DSP) như các khối xây dựng cho cảm biến độ sâu.Cảm biến ToF trực tiếp thể hiện độ chính xác khoảng cách 30 cm trên phạm vi mở rộng lên đến 200 m, cho phép nó phát hiện các vật thể có độ phản xạ 95% dưới ánh sáng mặt trời ở 117k lux.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  16

Hình 17. BI xếp chồng lên nhau SPAD với cảm biến độ sâu ToF trực tiếp.
Cấu trúc SPAD xếp chồng lên nhau BI là một bước đột phá trong cảm biến độ sâu và hình ảnh dựa trên SPAD với các đặc tính được cải thiện.Cấu trúc ngăn xếp BI cải thiện hiệu quả lượng tử và tách các SPAD và mạch thành các lớp silicon tối ưu so với các pixel thông thường đặt các mạch bên cạnh mỗi SPAD.Do đó, việc triển khai xếp chồng khắc phục được những hạn chế truyền thống của cảm biến SPAD và phù hợp với nhiều loại ứng dụng hơn.
B. Cảm biến tương phản thời gian
Cảm biến thị giác dựa trên sự kiện (EVS) phát hiện độ tương phản thời gian đơn pixel trên ngưỡng tương đối đặt trước để theo dõi diễn biến theo thời gian của những thay đổi ánh sáng tương đối và xác định điểm lấy mẫu cho các phép đo cường độ tuyệt đối ở mức pixel không khung.Kể từ khi EVS được báo cáo lần đầu tiên vào năm 2006, nhiều ứng dụng sử dụng EVS đã được đề xuất, chẳng hạn như tầm nhìn máy tốc độ cao và công suất thấp do độ chính xác theo thời gian của dữ liệu được ghi lại, sự triệt tiêu vốn có của dư thừa tạm thời dẫn đến giảm chi phí xử lý sau và nhiều loại kịch bản.Hoạt động DR.Mặc dù kích thước pixel đã giảm xuống còn 9 µm vào năm 2019 thông qua cấu trúc BI, EVS gặp phải vấn đề về kích thước pixel lớn và độ phân giải thường nhỏ do quá trình xử lý tín hiệu tương tự mức pixel mở rộng.Do đó, EVS đặc biệt được hưởng lợi từ những tiến bộ trong cấu trúc thiết bị xếp chồng lên nhau với kết nối Cu-Cu quy mô pixel.
1280 × 720 4,86 ​​µm pixel pitch BI-stacked EVS đã được báo cáo vào năm 2020. Hình 18 cho thấy sơ đồ khối pixel của chức năng phát hiện độ tương phản (CD) và một sơ đồ của giao diện đọc không đồng bộ trong pixel và các khối logic trạng thái.Dòng quang được chuyển đổi thành tín hiệu điện áp, Vlog, và sự thay đổi độ tương phản thu được bằng cách điều chế delta không đồng bộ (ADM) được phát hiện bằng cách sử dụng bộ so sánh xuyên mức.EVS xếp chồng BI trong Hình 19 (a) đạt được dấu thời gian cấp hàng 1 µs, tốc độ sự kiện tối đa là 1,066 tỷ sự kiện mỗi giây (eps) và đường ống định dạng dữ liệu là 35 nW / pixel và 137 pJ / sự kiện Đối với các ứng dụng thị giác máy tốc độ cao, công suất thấp.Hình 19 (b) cho thấy hoạt động của cảm biến đối với một số ứng dụng ví dụ.Các bản ghi cảnh giao thông khoảng 1 lux thể hiện độ nhạy tương phản ánh sáng yếu.Độ chính xác theo thời gian cao từ các pixel có độ trễ thấp và hoạt động đọc tốc độ cao cho phép cảm biến giải mã các mẫu ánh sáng có cấu trúc được mã hóa theo thời gian trong các ứng dụng cảm biến độ sâu 3D.Hình 20 cho thấy xu hướng của cao độ pixel trong EVS.Do công nghệ thiết bị xếp chồng lên nhau, kích thước pixel của EVS hiện ở mức dưới 5 µm cho các trường hợp sử dụng thực tế là megapixel.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  17

Hình 18. Sơ đồ khối điểm ảnh của EVS

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  18

Hình 19. EVS xếp chồng BI và ví dụ ứng dụng của nó.(a) Ảnh hiển vi của chip.(b) Ví dụ về Ứng dụng.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  19

C. Chụp ảnh ánh sáng vô hình
Công nghệ thiết bị xếp chồng lên nhau cũng tạo điều kiện thuận lợi cho việc tạo ảnh ánh sáng vô hình bằng cách sử dụng bộ tách sóng quang không silicon trong tích hợp lai.Ví dụ về bộ tách sóng quang không phải silicon có tích hợp lai bao gồm bộ tách sóng quang InGaAs, bộ tách sóng quang Ge-on-Si và phim quang dẫn hữu cơ.Trong phần này, các kết quả gần đây của cảm biến InGaAs sử dụng liên kết lai Cu-Cu được tóm tắt.
Nhu cầu về hình ảnh trong dải hồng ngoại sóng ngắn (SWIR) (tức là bước sóng từ 1000 đến 2000 nm) ngày càng tăng cho các ứng dụng công nghiệp, khoa học, y tế và an ninh.Các thiết bị InGaAs đã được sử dụng trong cảm biến SWIR vì các đặc tính hấp thụ của chúng trong dải SWIR không thể bị che phủ bởi các thiết bị dựa trên silicon.Trong các cảm biến InGaAs thông thường, mỗi pixel của dãy photodiode (PDA) được kết nối với một mạch tích hợp đọc được (ROIC) thông qua một chip lai lật sử dụng các va đập.Cấu trúc này thường làm phức tạp việc chế tạo các mảng pixel có độ cao nhỏ do khả năng mở rộng hạn chế của các va chạm.Vào năm 2019, một cảm biến hình ảnh InGaAs đã được giới thiệu trong đó mỗi pixel 5 µm của PDA được kết nối với ROIC bằng cách sử dụng liên kết Cu-Cu.Các dị cấu trúc InGaAs / InP được phát triển theo phương thức biểu mô trên các chất nền InP nhỏ bán sẵn trên thị trường với đường kính nhỏ hơn 4. Như được thể hiện trong Hình 21, các tấm wafer InGaAs / InP hình trục được cắt hạt lựu thành các con chip và được chuyển sang các tấm wafer silicon lớn bằng cách sử dụng khuôn III-V quá trình.Sau khi chế tạo các tấm đệm Cu, tấm lót sàn III-V / Si sử dụng liên kết Cu-Cu để kết nối từng pixel III-V với ROIC bằng hỗn hợp ROIC.Hình 22 cho thấy xu hướng bước tiếp xúc đối với va chạm của chip lật và liên kết Cu-Cu đối với cảm biến InGaAs.Flip-chip hybrid sử dụng va chạm, phương pháp chế tạo cảm biến InGaAs truyền thống, không thích hợp để thu nhỏ độ cao pixel do biên quá trình hẹp và khả năng lặp lại kém.Tuy nhiên, lai Cu-Cu đã được sử dụng để sản xuất hàng loạt cảm biến hình ảnh CMOS với năng suất cao từ năm 2016 và là công nghệ quan trọng để mở rộng kết nối với cảm biến InGaAs.Hình 22 cũng cho thấy một ví dụ về một ứng dụng liên quan đến việc kiểm tra và giám sát an ninh trong một kịch bản có sương mù.Do đó, cảm biến hình ảnh InGaAs cho phép hình ảnh HD SWIR thông qua kết nối Cu-Cu cấp pixel.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  20

Hình 21. Sơ đồ quy trình chế tạo cảm biến hình ảnh InGaAs.

tin tức mới nhất của công ty về Sự phát triển của kiến ​​trúc cảm biến hình ảnh CMOS  21

Hình 22. Xu hướng bước tiếp xúc va chạm của Flip-chip và các ví dụ ứng dụng cho liên kết Cu-Cu và cảm biến InGaAs.
V. Cảm biến Tầm nhìn Thông minh
Nhu cầu về các sản phẩm máy ảnh có khả năng xử lý bằng AI đang tăng lên trong thị trường Internet vạn vật (IoT), bán lẻ, thành phố thông minh và các ứng dụng tương tự.Sức mạnh xử lý của AI trên các thiết bị tiên tiến như vậy có thể giải quyết một số vấn đề liên quan đến hệ thống điện toán đám mây thuần túy, chẳng hạn như độ trễ, truyền thông đám mây, chi phí xử lý và các mối quan tâm về quyền riêng tư.Nhu cầu thị trường đối với camera thông minh với khả năng xử lý AI bao gồm kích thước nhỏ, chi phí thấp, tiêu thụ điện năng thấp và dễ lắp đặt.Tuy nhiên, cảm biến hình ảnh CMOS thông thường chỉ xuất ra dữ liệu thô của hình ảnh đã chụp.Do đó, khi phát triển một camera thông minh có khả năng xử lý AI, cần phải sử dụng các vi mạch bao gồm bộ xử lý tín hiệu hình ảnh (ISP), xử lý mạng nơ-ron phức hợp (CNN), DRAM và các khả năng khác.
Một cảm biến hình ảnh CMOS xếp chồng lên nhau bao gồm 12,3 megapixel và một DSP dành riêng cho tính toán CNN đã được báo cáo vào năm 2021. Như trong Hình 23, cảm biến chứa một giải pháp tích hợp với khả năng truyền hình ảnh đầy đủ đến bộ xử lý suy luận CNN và có thể được xử lý ở tốc độ 120 khung hình / giây , bao gồm chụp ảnh sử dụng DSP 4,97 TOPS / W và xử lý CNN trên chip.Khối xử lý có ISP để xử lý trước đầu vào CNN, một hệ thống con DSP được tối ưu hóa cho xử lý CNN và một SRAM L2 8 MB để lưu trữ trọng số CNN và bộ nhớ thời gian chạy.Hình 24 cho thấy một số ví dụ về kết quả suy luận của CNN bằng cách sử dụng MobileNet v1.Hệ thống con DSP đã chứng minh các kết quả suy luận tương tự như TensorFlow.Cảm biến tầm nhìn thông minh có thể chạy quy trình suy luận CNN hoàn chỉnh trên cảm biến và có thể xuất ra các hình ảnh đã chụp dưới dạng dữ liệu thô và kết quả suy luận CNN trong cùng một khung hình thông qua giao diện MIPI.Cảm biến cũng hỗ trợ đầu ra kết quả suy luận CNN chỉ từ giao diện SPI để kích hoạt các camera nhỏ và giảm tiêu thụ điện năng và chi phí của hệ thống.Bộ xử lý suy luận CNN trên cảm biến cho phép người dùng lập trình các mô hình AI yêu thích của họ vào bộ nhớ nhúng và lập trình lại chúng theo yêu cầu hoặc điều kiện của nơi sử dụng hệ thống.Ví dụ, khi được lắp đặt ở lối vào của một cơ sở, nó có thể được sử dụng để đếm số lượng khách vào cơ sở đó;khi được lắp đặt trên kệ hàng, nó có thể được sử dụng để phát hiện tình huống hết hàng;khi được lắp đặt trên trần nhà, nó có thể được sử dụng cho khách đến thăm cửa hàng lập bản đồ nhiệt.Cảm biến tầm nhìn thông minh dự kiến ​​sẽ cung cấp hệ thống AI cạnh chi phí thấp cho các ứng dụng khác nhau bằng cách sử dụng các mô hình AI linh hoạt.

Bài báo này đánh giá những thành tựu gần đây trong kiến ​​trúc cảm biến hình ảnh với cấu trúc thiết bị xếp chồng lên nhau.Cấu trúc thiết bị xếp chồng lên nhau giúp cải thiện đáng kể hiệu suất của cảm biến hình ảnh, đặc biệt là ở tốc độ khung hình cao và độ phân giải pixel cao, thông qua các bộ ADC song song cao được thực hiện bằng cách sử dụng pixel cảm biến và công nghệ quy trình tối ưu hóa mạch CMOS.Trong công việc gần đây, một số đề xuất đã được đưa ra, với một số kết quả, sử dụng các mạch xếp chồng song song pixel và / hoặc các đơn vị xử lý thông minh hơn.Những thách thức mới này đòi hỏi khả năng mở rộng cao hơn, tối ưu hóa hơn công nghệ quy trình cho từng chức năng và hiệu quả diện tích cao hơn.Bộ tách sóng quang, mạch điểm ảnh phía trước, bộ xử lý tín hiệu hỗn hợp tương tự và bộ xử lý kỹ thuật số, và bộ nhớ có thể được tích hợp hiệu quả hơn, như thể hiện trong Hình 25, và các kiến ​​trúc cảm biến hình ảnh trong tương lai sẽ phát triển hơn nữa để mở rộng khả năng thông qua kỹ thuật xếp chồng thiết bị.

Chi tiết liên lạc