Управляемый брегговский фильтр для гиперспектральной съёмки

Татарин> Собссно, идея очень простая: перед фотоприёмной матрицей две прозрачные пластинки с воздушным зазором между ними.
Мнэээээ... Чтобы фильтр был более-менее фильтром, таких пластинок надо, думается, штук двадцать.
Мало того, толщина пластинок тоже должна мочь изменяться.

Для пучков это делается давно и немного иначе.

Чтобы такое применяли к изображениям - пока не слышал.

pokos> Мнэээээ... Чтобы фильтр был более-менее фильтром, таких пластинок надо, думается, штук двадцать.
Ну, 20 - ты СИЛЬНО перебрал (у радужной плёнки бензина на воде вообще 1 слой), но суть такая, да.

pokos> Мало того, толщина пластинок тоже должна мочь изменяться.
Нет, это как раз не нужно. В простом варианте толщину пластинок просто брать разной. Идеально, конечно, регулируемый фотонный кристалл, но это дорого - мы пробовали.

pokos> Для пучков это делается давно и немного иначе.
Это акустооптика, это отдельная история. Там беда как раз в том, что волна же: если есть пучности, то есть и прочие места: тот эффект, что ты можешь получить для отдельной точки в матрице, не будет распространяться на её соседей.

Татарин> Собссно, идея очень простая: перед фотоприёмной матрицей две прозрачные пластинки с воздушным зазором между ними. В зазоре сидит пьезокристалл, который и регулирует толщину зазора (соотвественно, формирует запрещённую зону на некой длине волны).

Обычно подобные простые системы приводят в итоге к большему времени сканирования. То есть большой выдержки. Из-за чего становятся непригодны в системах наблюдения. Можете оценить время получения изображения в Вашей идеи?

Татарин> Ну, 20 - ты СИЛЬНО перебрал...
Ну, тебе, вроде бы, требуется довольно узкая полоса. А у одного зазора АЧХ будет типа синус на 1/2 перекрытия по частоте, туча боковых лепестков. Можешь посчитать на досуге.
А чтобы полоса была ещё и более-менее квадратная, тебе вообще надо щели sin(x)/x.

Видел я и бензиновую плёнку, и колбасу мясную, и тонкоплёночные фильтры.
Не забывай, что у глаза перекрытие по частоте меньше 2, а ты нацелился на 5, минимум. Так что, в глазу сиречь оптический обман зрения.

Татарин> Собссно, идея очень простая: перед фотоприёмной матрицей две прозрачные пластинки с воздушным зазором между ними. В зазоре сидит пьезокристалл, который и регулирует толщину зазора (соотвественно, формирует запрещённую зону на некой длине волны).

Не так. Матрица находится на рамочном подвесе (примерно как в MEMS акселерометрах), и перемещается пьезокристаллами, присоединёнными с невидимой стороны. Все это находится в замкнутом объёме из стекла (кварца, сапфира?). Зазор образуется между рабочей поверхностью кристалла и лицевой пластиной камеры. Одного зазора достаточно.

Ссылка — мой личный опыт. Доводилось смотреть на фотоматрицы под микроскопом, уже после упаковки. Стёклышко там почти всегда припаивают не совсем ровно, под углом, так что образуется воздушный (из сухого азота ) клин под плоскопараллельным стеклом.

При оптике стандартного фотоаппарата/камеры это особо не влияет, но если смотреть наоборот через микроскоп с его практически параллельным направлением лучей — видны очень контрастные интерференционные полосы, розовые и зелёные. Контраст что-то около 25% по ощущениям, саму матрицу уже плоховато видно из-за этого.

Так что ... имеет, наверное, смысл попробовать. Предвижу грабли, но как исследовательский проект — ИМХО имеет смысл.

Sandro> При оптике стандартного фотоаппарата/камеры это особо не влияет, но если смотреть наоборот через микроскоп с его практически параллельным направлением лучей — видны очень контрастные интерференционные полосы, розовые и зелёные. Контраст что-то около 25% по ощущениям, саму матрицу уже плоховато видно из-за этого.

Чё-т странно. Какие там интерференционные полосы?

Вот матрица фотоаппарата под микроскопом:

Татарин>> Собссно, идея очень простая: перед фотоприёмной матрицей две прозрачные пластинки с воздушным зазором между ними. В зазоре сидит пьезокристалл, который и регулирует толщину зазора (соотвественно, формирует запрещённую зону на некой длине волны).
PSS> Обычно подобные простые системы приводят в итоге к большему времени сканирования. То есть большой выдержки. Из-за чего становятся непригодны в системах наблюдения. Можете оценить время получения изображения в Вашей идеи?

Так она же определяется количеством кадров в секунду с матрицы, то есть, самой матрицей, электроникой обвязки, объективом и т.п. Заставить фильтр гармонически дрожать в резонансе на частоте в единицы-десятки кГц - не такая уж и проблема.
Ну, если хорошей CMOS-матрице при минимальной светосиле объектива в телефоне можно снять 1000 кадров в секунду, то тряся матрицу с частотой 50Гц (полностью пробегается спектр 100 раз в секунду) можно получить 10 полноспектральных кадров с 100 спектральными срезами на каждый. Избыточность гиперспектра позволяет использовать для анализа движения нейросетью соседние кадры.

Sandro> Не так. Матрица находится на рамочном подвесе (примерно как в MEMS акселерометрах), и перемещается пьезокристаллами, присоединёнными с невидимой стороны. Все это находится в замкнутом объёме из стекла (кварца, сапфира?). Зазор образуется между рабочей поверхностью кристалла и лицевой пластиной камеры. Одного зазора достаточно.
Я просто не представляю себе, как (чисто по технологии) сделать рамочный подвес на такие размеры и точность. А прямой пьезопривод я себе представляю (возможно, даже верно представляю).

Клапауций> Чё-т странно. Какие там интерференционные полосы?
Ну, ньютоновские кольца получить не так уж и сложно. Обычно стараются сделать всё, чтобы подобного избежать, поэтому как раз фотография не аргумент - при фотографии-то, как правило, нет задачи получить какие-то интерфереционные артефакты на изображении, а есть строго обратная задача.

Татарин> Ну, если хорошей CMOS-матрице при минимальной светосиле объектива в телефоне можно снять 1000 кадров в секунду

Тогда после их объединения получается выдержка секунды. И если что-то движется, будет смаз. Плюс нужно глянуть с какого момента там работает электронный затвор. На телефоне механический затвор может дать такую выдержку только если он центральный (у кого такие были) и это будет при максимально закрытой "дырке"/минимальной светосиле

Клапауций> Чё-т странно. Какие там интерференционные полосы?

В микроскопе. Которые я видел лично.

Клапауций> Вот матрица фотоаппарата под микроскопом:

Условия съёмки? Наличие герметизирующего стекла?

Кстати. Про условия я могу сказать, что снимок сделан с очень малого расстояния. Это хорошо видно по крайне малой глубине резкости изображаемого пространства. Выводы сильно размазаны. Т.е. угол обзора большой. А я смотрел на микроскопе, который даёт микронное разрешение на расстоянии в 15 см. Узкоугольном, то есть.
Это очень сильно разная оптика.

Татарин>> Ну, если хорошей CMOS-матрице при минимальной светосиле объектива в телефоне можно снять 1000 кадров в секунду
PSS> Тогда после их объединения получается выдержка секунды. И если что-то движется, будет смаз.

Это вопрос давно решён. Можно восстановить "замороженное" изображение на любой снимок из серии.

PSS> Плюс нужно глянуть с какого момента там работает электронный затвор.

???
С какого надо, с такого и работает. Точность порядка 1 мкс достигается элементарно. Можно и лучше, только зачем?

Татарин> Я просто не представляю себе, как (чисто по технологии) сделать рамочный подвес на такие размеры и точность. А прямой пьезопривод я себе представляю (возможно, даже верно представляю).

Это я сходу ответил. По некотором размышлении, упругая вставка там не нужна, да. Только демпфирующий переходник в виде металлической пластины.
Но пьезокристаллы обязательно с тыловой стороны. Зачем в поле зрения оптики их совать?

Татарин>> Ну, если хорошей CMOS-матрице при минимальной светосиле объектива в телефоне можно снять 1000 кадров в секунду
PSS> Тогда после их объединения получается выдержка секунды. И если что-то движется, будет смаз.
Почему именно секунды? Выдержка - это количество кадров в секунду поделить на требуемое количество спектральных полос.
Я лично по рассмотрению спектров природных и искусственных пигментов не думаю, что нужно больше 30-100 полос на весь ИК+видимый+УФ - наше же цветное зрение вообще ограничилось 3-4 полосами на видимом диапазоне.
Мало объектов дают узкие спектральные пики, а значит, не нужно и очень высокое спектральное разрешение.

Ну и сейчас же не девяностые. Объединяет кадры софт, и нынешний софт достаточно силён, чтобы наложить кадры один за другим с учётом движения, получив полный гиперцвет на каждом кадре для каждой точки.

Sandro> Это я сходу ответил. По некотором размышлении, упругая вставка там не нужна, да. Только демпфирующий переходник в виде металлической пластины.
Sandro> Но пьезокристаллы обязательно с тыловой стороны. Зачем в поле зрения оптики их совать?
Так размеры пластинки и матрицы больше размера чувствительной части. За пределами видимого поля и поставить.

PSS>> Тогда после их объединения получается выдержка секунды. И если что-то движется, будет смаз.
Татарин> Почему именно секунды? Выдержка - это количество кадров в секунду поделить на требуемое количество спектральных полос.

Так я и попросил узнать сколько. Для одной освещенности выдержка где перед пикселем стоит некий дополнительный элемент не может быть сравнимой с пикселем, где этого элемента нет. Должна быть больше. Но в рамках концепции я оценить не могу. Это Ваша концепция. Вы знаете как там сканируется.

И не надо писать, что можно обойти. Так как не ясно, что можно обойти. Нужно сначала понять параметры системы без постобработки. Это нулевой уровень.

Татарин>>> Ну, если хорошей CMOS-матрице при минимальной светосиле объектива в телефоне можно снять 1000 кадров в секунду
PSS>> Тогда после их объединения получается выдержка секунды. И если что-то движется, будет смаз.
Sandro> Это вопрос давно решён. Можно восстановить "замороженное" изображение на любой снимок из серии.

Неа.. С точки зрения физики это будет не основной снимок. Даже если маркетинг пытается утверждать обратное.

PSS>> Плюс нужно глянуть с какого момента там работает электронный затвор.
Sandro> ???
Sandro> С какого надо, с такого и работает. Точность порядка 1 мкс достигается элементарно. Можно и лучше, только зачем?

Затем, что есть вопрос для чего. Для красивой картинки от которой требуется получать позитивные эмоции от просмотра или для работы со спектрами?

Для примера. На ваш взгляд это нормальное отображение реальности?

Татарин> а) выбрать длины волн интересные именно для контрастной выборки целей, а не совпадающие с зонами чувствительности глаза (вся маскировка и камуфляж в видимом диапазоне сейчас заточены на глаз и его восприятие),

Хм. Кстати...

Если вопрос именно в камуфляже, то есть способ проще. Применить матрицу Байера не RGB фильтром, а с ячейками другого диапазона в которой камуфляж не камуфляж. Этот метод на порядок проще. Скорей всего возможен с минимальной перестройкой производства матриц. И даже удивительно, что про него не слышно.

P.S Плюс вопрос гиперспектральным монитором. Разные гиперспектральные камеры собственно уже есть. Как раз методом разного сканирования. Но я не слышал про метод, что может создать гиперспектральный монитор для просмотра этих изображения. Ваш метод здесь не применим?

PSS>>> Тогда после их объединения получается выдержка секунды. И если что-то движется, будет смаз.
Татарин>> Почему именно секунды? Выдержка - это количество кадров в секунду поделить на требуемое количество спектральных полос.
PSS> Так я и попросил узнать сколько. Для одной освещенности выдержка где перед пикселем стоит некий дополнительный элемент не может быть сравнимой с пикселем, где этого элемента нет. Должна быть больше.
Так альтернативно в нашей реальности перед всеми элементами цветной матрицы стоИт фильтр, выделяющий цвет точки. А перед всеми бытовыми ЧБ-матрицами фильтр, отсекающий ИК. А бывает - и то, и то.

Грубая оценка такая, что если полоса пропускания фильтра в разы меньше, чем для обычной RGB-цветной матрицы, то есть, при всех прочих равных количество фотонов на элемент*секунду будет в те же разы меньше. Всё остальное при равных технологиях - ровно то же.

Татарин> Грубая оценка такая, что если полоса пропускания фильтра в разы меньше, чем для обычной RGB-цветной матрицы, то есть, при всех прочих равных количество фотонов на элемент*секунду будет в те же разы меньше. Всё остальное при равных технологиях - ровно то же.

То есть если вы раскладываете доступный спектр на 100 элементов, то в 100 раз больше.

Но 100 выглядит мало. Какую минимальную ширину (и собственно разрешение спектра) нужно взять?

И выдержка 1/1000 это уже яркий день. Даже для 1/100 нужно порой чувствительность выкручивать. Хотя подозреваю, что все равно придется выкручивать.

PSS> Если вопрос именно в камуфляже, то есть способ проще. Применить матрицу Байера не RGB фильтром, а с ячейками другого диапазона в которой камуфляж не камуфляж. Этот метод на порядок проще.
Не проще уже потому, что потребует перестройки серийной массовой технологии производства цветных матриц. В нашей реальности дешевле и проще будет взять несколько ЧБ с отдельными фильтрами, чем одну, но малосерийную "цветную кастомную".

А главное - работать не будет. В смысле, будет, но с конкретным камуфляжем с конкретными красителями в конкретной обстановке и окружении. С такой кучей условий как-то теряется смысл.
Гиперспектр - не прихоть, а возможность извлечь больше информации для анализа и заставить противника идеально имитировать фон. Что есть задача резко повышенной сложности или даже просто невозможная, с учётом разнообразия возможного окружения.

PSS> И даже удивительно, что про него не слышно.
Ну, это-то как раз понятно.

PSS> P.S Плюс вопрос гиперспектральным монитором. Разные гиперспектральные камеры собственно уже есть. Как раз методом разного сканирования. Но я не слышал про метод, что может создать гиперспектральный монитор для просмотра этих изображения. Ваш метод здесь не применим?
В принципе - да: Quantum Mirasol же.
Только вот смысл-то какой?

У глаза-то всё равно ровно три (ну или 4, у тетрахромов) цветовых канала. Пока ты каждому каналу скармливаешь его интенсивность, глаз не видит разницы. Для обычного глаза весь спектр сворачивается в 4 скаляра - 3 цвета + яркость (которая есть независимый канал с более высоким разрешением). Ну, плюс нулевой цвет общей яркости обстановки, но его можно не считать. Глаз просто не может "взять" из картинки больше, сколько не давай.
Так зачем давать?

Татарин>> Грубая оценка такая, что если полоса пропускания фильтра в разы меньше, чем для обычной RGB-цветной матрицы, то есть, при всех прочих равных количество фотонов на элемент*секунду будет в те же разы меньше. Всё остальное при равных технологиях - ровно то же.
PSS> То есть если вы раскладываете доступный спектр на 100 элементов, то в 100 раз больше.
В сто раз больше, чем что? Если, чем у глаза или RGB-камеры, то тогда в 30 раз.

PSS> Но 100 выглядит мало. Какую минимальную ширину (и собственно разрешение спектра) нужно взять?
Я бы (достаточно спотолочно) посчитал бы достаточным 5-20нм. Такого спектрального разрешения достаточно, чтобы различить абсолютное большинство пигментов и красителей.
Честного прямоугольника в пропускной АЧХ фильтра всё равно не выйдет (можно, но уж дорого очень), так что и это число условно.
Тогда в диапазоне 200-1000 получается как раз 100 спектральных срезов (конечно, перекрывающихся, потому что sinc(x), куда тут деться?).

При этом в простом варианте кратные частоты будут пропущены, так что один срез, одно положение фильтра "возьмёт" одновременно 250, 500 и 1000нм. Бороться с этим, конечно, можно. Но не нужно.
Потому что не стоИт задачи честной спектрометрии, стоИт задача свёртки исходного непрерывного спектра в более информативный набор сигналов.
В конце-то концов, человек же видит "фиолетовый" как сочетание синего и красного (что, ессно, "в числах" есть чистое враньё, просто у нас "красный" канал чувствителен в фиолетовой области). Кому-то это мешает распознавать цветную картинку и разные объекты? Мне, вроде, нет.

PSS> И выдержка 1/1000 это уже яркий день. Даже для 1/100 нужно порой чувствительность выкручивать. Хотя подозреваю, что все равно придется выкручивать.
Так это ж всё условно - какая матрица, какая чувствительность, какая статистика...

Есть хороший пример для опоры: матрицы современных телефонов с ничтожной светосилой объектива-"пуговки" собирают достаточно света, чтобы давать годные-распознаваемые изображения с частотой 1000 кадров в секунду даже в пасмурный день (~300Вт/м2).
Хороший объектив с входной апертурой 30-50мм соберёт в 100 раз больше света.