- BrainTools - https://www.braintools.ru -
Я сделал приложение, которое раскладывает мусор из галереи по колодам и даёт смахивать его свайпами: влево – в корзину, вправо – оставить, вверх – в избранное. Интерфейс и анимации живут в WebView, работа с файлами – в нативном плагине на Java. По дороге пришлось раздавать видео из MediaStore через перехват запросов WebView, искать легальный способ чистить чужой кеш, запихнуть CLIP в 8,8 МБ, чтобы приложение не шутило над фото с кладбища, и поддержать Android 10, где нет системной корзины. Последним уроком стал один else, который приклеился не к тому if и ушёл в Google Play. Ниже архитектура, код и цифры с двух телефонов.

В моей галерее годами копился мусор: скриншоты и скринкасты с рабочих проектов, открытки в WhatsApp от родственников, счётчики (куда уж без них), чеки и серии из миллиона смазанных фотографий моей дочери. Чистить их руками мне было скучно, поэтому появилась “Свайпомойка” (я не определился как правильно читать: свайп-помойка или свайпо-мойка, поэтому можно и так и так). Она сканирует память [1] в телефоне и формирует колоды: скриншоты, WhatsApp, Telegram, загрузки, серии одинаковых кадров, видео больше 100 МБ, старые фото. Каждая карточка в колоде превью файла, подпись и дата. Свайп влево кладёт файл в мешок, вправо – оставляет навсегда, вверх – добавляет в избранное в системной галерее. На каждый свайп играет анимация: 10 способов уничтожить карточку и 5 способов её сохранить. Мешок выносится одной кнопкой: файлы уходят в системную корзину Android на 30 дней или удаляются насовсем.
Принципиальное ограничение: у приложения нет разрешения INTERNET. Оно видит всю галерею, но физически не может ничего украсть и куда-то отправить. Это упростило политику конфиденциальности и раздел Data safety в Play, но потребовало закрыть одну дыру в WebView, о ней ниже.
Тестовые устройства:
|
Телефон |
Android |
Роль |
|---|---|---|
|
Samsung S25 Edge |
17 (One UI 9) |
основной |
|
Huawei Y8p |
10 (EMUI 12), без сервисов Google |
слабый и старый |
|
Слой |
Технологии |
|---|---|
|
Интерфейс |
Vite 8, React 19, TypeScript |
|
Анимации |
GSAP 3 (Draggable), чистый WebGL с фрагментными шейдерами |
|
Обёртка |
Capacitor 8 |
|
Нативная часть |
один Capacitor-плагин |
|
Модель |
TinyCLIP ViT-8M/16, LiteRT (бывший TensorFlow Lite) |
|
Виджет |
|

Почему WebView, а не Compose. Главная часть приложения – анимации: шредер режет карточку на полосы, Танос рассыпает её в пыль, огонь прожигает её по шуму. На GSAP и шейдерах я делаю такое быстрее, чем в Compose, а WebView на S25 держит 60 fps (больше он и не умеет: частота WebView ограничена 60 Гц). Второй довод – iOS: интерфейс и эффекты переносятся как есть, переписывать придётся только плагин.
Цена: всё, что касается файлов, идёт через мост Capacitor, и у WebView свои странности с медиа. Почти все интересные проблемы ниже случились на этой границе.
Лицо карточки (превью, плашка с подписью, дата) рисуется в canvas один раз с учётом devicePixelRatio. Дальше эффекты работают с готовой картинкой, а не с DOM-деревом карточки. Каждому эффекту приходит контекст:
export interface FxContext {
/** Fixed full-screen layer for effect elements. */
stage: HTMLElement;
/** Untransformed card slot in viewport pixels. */
rect: Rect;
/** Where the card was when the swipe was committed. */
from: Pose;
/** Card face at device pixel ratio. */
bitmap: HTMLCanvasElement;
dpr: number;
file: JunkFile;
props: Props;
/** Called about a second before the main animation ends (and again at the end): the next swipe may go. */
nearlyDone?: () => void;
}
export type Fx = (ctx: FxContext) => Promise<void>;
DOM-эффекты копируют bitmap в свои элементы: шредер режет его на полосы, Танос – на частицы. WebGL-эффекты загружают его в текстуру и рисуют один полноэкранный квад. Общий кусок GLSL добавляется к каждому шейдеру:
uniform sampler2D u_tex;
uniform vec2 u_res;
uniform vec4 u_card; // x, y, w, h карточки в CSS-пикселях
uniform float u_p; // прогресс эффекта 0..1, его крутит GSAP
uniform float u_t; // время
vec2 P() { return v_uv * u_res; }
vec4 cardAt(vec2 p) {
vec2 uv = (p - u_card.xy) / u_card.zw;
if (uv.x < 0.0 || uv.y < 0.0 || uv.x > 1.0 || uv.y > 1.0) return vec4(0.0);
return texture2D(u_tex, uv);
}
Сжигание целиком в шейдере: фронт огня идёт по диагонали снизу вверх, fbm-шум делает его рваным, перед фронтом бумага обугливается, на самом фронте светится:
void main() {
vec2 p = P();
vec4 c = cardAt(p);
if (c.a < 0.001) { gl_FragColor = vec4(0.0); return; }
vec2 uv = (p - u_card.xy) / u_card.zw;
float n = fbm(uv * vec2(3.0, 4.2) + vec2(0.0, -u_t * 0.25));
float d = (1.0 - uv.y) * 0.62 + uv.x * 0.38;
float t = d * 0.78 + n * 0.42;
float front = u_p * 1.34 - 0.08;
float e = t - front;
vec3 col = c.rgb / c.a;
float charA = 1.0 - smoothstep(0.015, 0.16, e);
col = mix(col, vec3(0.10, 0.06, 0.04), charA * 0.92);
float glow = 1.0 - smoothstep(0.0, 0.05, e);
float flick = 0.75 + 0.25 * noise(uv * 40.0 + u_t * 8.0);
vec3 fire = mix(vec3(1.0, 0.28, 0.02), vec3(1.0, 0.88, 0.4), 1.0 - smoothstep(0.0, 0.022, e));
col = mix(col, fire * 1.35 * flick, glow);
float a = c.a * smoothstep(-0.006, 0.004, e);
gl_FragColor = vec4(col * a, a);
}
GSAP анимирует u_p от 0 до 1 за две секунды и параллельно рассыпает DOM-искры по той же формуле фронта. Если WebGL-контекст не создался, эффект молча уходит в DOM-версию:
export const burn: Fx = async (ctx) => {
const fx = shaderLayer(ctx, BURN, 40, 40);
if (!fx) return thanos(ctx);
// ...
};
Свайп засчитывается по расстоянию или по скорости. Скорость считаю сам в onDrag, порог расстояния – 30% ширины экрана для горизонтали и 22% высоты для свайпа вверх:
if (x < -W * 0.3 || (vx < -800 && x < -24)) action = 'trash';
else if (x > W * 0.3 || (vx > 800 && x > 24)) action = 'keep';
else if (y < -H * 0.22 || (vy < -800 && y < -24 && Math.abs(x) < Math.abs(y))) action = 'fav';
Минимальные 24 пикселя нужны, чтобы быстрый, но короткий рывок не засчитывался свайпом. Тап без движения открывает файл на весь экран.
Нативный scan отдаёт из MediaStore id, имя, RELATIVE_PATH, размер, дату съёмки, тип, длительность, а на Android 11+ ещё и IS_FAVORITE. Всё остальное – эвристики на TypeScript по пути и времени. Скриншоты, WhatsApp, Telegram и загрузки определяются регуляркой по пути. Серии – кадрами камеры, снятыми с интервалом не больше 2,5 секунды. Первый кадр серии остаётся, остальные идут в колоду дублей:
const camera = pool.filter((m) => m.type === 'image' && isCamera(m));
for (let i = 0; i < camera.length; ) {
let j = i + 1;
while (j < camera.length && camera[j].taken - camera[j - 1].taken <= SERIES_GAP_MS) j++;
const total = j - i;
for (let k = i + 1; k < j; k++) {
const m = camera[k];
series.push(toCard(m, RULES.series, { n: String(k - i + 1), total: String(total), gap: gapRu(m.taken - camera[k - 1].taken) }, `${k - i + 1}/${total}`));
bytes += m.size;
}
i = j;
}
Эвристика грубая: на моей галерее она нашла 406 «дублей», и часть из них не дубли, а просто быстрая съёмка разных сцен.
Файлы, которые пользователь оставил, больше никогда не должны попадать в колоды. Ключом для этого служит не _ID, а путь, имя и размер:
export const mediaKey = (m: MediaItem) => `${m.path}${m.name}|${m.size}`;
_ID меняется, когда MediaStore заново индексирует файл: например, после восстановления из моей корзины на Android 10 (о ней ниже). Путь, имя и размер при этом остаются прежними.
Начиная с Android 11 приложение без особых прав может удалить чужое фото только через системный диалог. MediaStore.createTrashRequest кладёт файлы в корзину на 30 дней, createDeleteRequest удаляет насовсем. Оба возвращают PendingIntent, который нужно запустить и дождаться ответа:
ContentResolver resolver = getContext().getContentResolver();
// restore=true takes the items back out of the trash
PendingIntent pi = permanent
? MediaStore.createDeleteRequest(resolver, uris)
: MediaStore.createTrashRequest(resolver, uris, !restore);
if (pendingConfirm != null) pendingConfirm.reject("superseded");
pendingConfirm = call;
getActivity().runOnUiThread(() -> confirmLauncher.launch(new IntentSenderRequest.Builder(pi.getIntentSender()).build()));
Тот же createTrashRequest с false достаёт файлы обратно: на финальном экране есть кнопка «Вернуть всё».
ActivityResultLauncher нельзя зарегистрировать по ходу работы: Activity требует, чтобы это случилось до onStart. В Capacitor удобное место – load() плагина, он вызывается внутри onCreate:
@Override
public void load() {
// Must be registered before the activity is started; load() runs inside onCreate.
confirmLauncher = getActivity().registerForActivityResult(
new ActivityResultContracts.StartIntentSenderForResult(),
result -> {
PluginCall call = pendingConfirm;
pendingConfirm = null;
if (call == null) return;
JSObject ret = new JSObject();
ret.put("ok", result.getResultCode() == Activity.RESULT_OK);
call.resolve(ret);
}
);
}
Вторая неожиданность: RESULT_OK приходит раньше, чем MediaProvider закончит перемещать файлы. Если сразу пересчитать, что удалилось, получится ноль. Поэтому JS-сторона несколько раз опрашивает, сколько файлов ещё на месте:
const { ok } = await JunkStore.remove({ uris, permanent });
if (!ok) {
showToast('Енот подождёт: мусор остался в мешке');
return;
}
// MediaProvider answers "ok" before it finishes moving files, so give it a moment to settle.
let alive = uris.length;
for (let i = 0; i < 12 && alive === uris.length; i++) {
await new Promise((r) => setTimeout(r, 250));
alive = (await JunkStore.countExisting({ uris })).alive;
}
// still nothing changed: Android said yes, so trust it rather than the slow provider
const count = alive === uris.length ? uris.length : uris.length - alive;
countExisting – обычный query по каждому URI без флага QUERY_ARG_MATCH_TRASHED: файлы в корзине такой запрос не видит.
Видео в просмотрщике нужно проигрывать прямо в приложении, а у нас есть только content://-адрес из MediaStore. Я перехватываю запросы WebView к https://localhost/_media_/video/<id> [2] в своём наследнике BridgeWebViewClient и отдаю файл из MediaStore сам.
Подвох в том, что <video> почти сразу просит конец файла: у видео с телефона индекс MP4 (moov) часто лежит в конце. Без поддержки Range ролик не стартует и не перематывается.
Первая версия честно открывала файл, сдвигалась на start и отдавала end - start + 1 байт. Видео не играло. Оказалось, WebView сам применяет Range к потоку из shouldInterceptRequest: пропускает start байт и сам режет хвост. Начало пропускалось дважды. Вторая версия отдавала поток с нуля, но WebView не останавливался на конце закрытого диапазона и читал лишнее. Рабочая версия отдаёт поток от начала файла, обрезанный на end + 1, а диапазон только описывает в заголовках:
// The WebView applies the Range itself to intercepted streams (it skips and limits bytes),
// so the stream starts at 0 and we only describe the range in the headers.
// ...but it does not stop at the end of a closed range, so the stream ends at end+1.
InputStream in = new Limited(new ParcelFileDescriptor.AutoCloseInputStream(pfd), end + 1);
Map<String, String> h = new HashMap<>();
h.put("Accept-Ranges", "bytes");
h.put("Cache-Control", "no-store");
if (partial) h.put("Content-Range", "bytes " + start + "-" + end + "/" + total);
return new WebResourceResponse(
mime != null ? mime : "application/octet-stream",
null,
partial ? 206 : 200,
partial ? "Partial Content" : "OK",
h,
in
);
Limited – это FilterInputStream, который считает байты вместе с пропущенными:
private static final class Limited extends FilterInputStream {
private long left;
Limited(InputStream in, long limit) {
super(in);
this.left = limit;
}
@Override
public int read(byte[] buf, int off, int len) throws IOException {
if (left <= 0) return -1;
int n = super.read(buf, off, (int) Math.min(len, left));
if (n > 0) left -= n;
return n;
}
@Override
public long skip(long n) throws IOException {
long s = super.skip(Math.min(n, left));
left -= s;
return s;
}
// read() и available() устроены так же
}
Это поведение [3] я нигде не нашёл в доках и проверял на двух телефонах: S25 со свежим WebView и Huawei с WebView 114. Если вы делаете то же самое, проверьте на своих версиях: на них может быть по другому.
Хотелось, чтобы приложение чистило ещё и кеш. С Android 6 обычное приложение не может удалить чужой кеш напрямую. Классический обходной путь – попросить у системы место через StorageManager.allocateBytes: чтобы выделить его, Android сам удаляет кеш других приложений.
На моём телефоне этот способ освободил ровно 0 байт. Свободно было 102 ГБ из 219, системе просто нечего было освобождать: она чистит кеш, только когда места не хватает.
Рабочий способ появился в Android 11: системный диалог StorageManager.ACTION_CLEAR_APP_CACHE. Его может открыть только приложение с правом «Доступ ко всем файлам» (MANAGE_EXTERNAL_STORAGE), и пользователь подтверждает каждую очистку. Удаляется только кеш, данные и логины остаются.
public static boolean supported() {
return Build.VERSION.SDK_INT >= Build.VERSION_CODES.R;
}
public static boolean hasAccess() {
return supported() && Environment.isExternalStorageManager();
}
public static Intent clearIntent() {
return new Intent(StorageManager.ACTION_CLEAR_APP_CACHE);
}
Сколько освободилось, диалог не сообщает. Считаю сам: свободное место до запуска диалога и через 900 мс после его закрытия.
cacheLauncher = getActivity().registerForActivityResult(
new ActivityResultContracts.StartActivityForResult(),
result -> new android.os.Handler(android.os.Looper.getMainLooper()).postDelayed(() -> {
PluginCall call = pendingCache;
pendingCache = null;
if (call == null) return;
boolean ok = result.getResultCode() == Activity.RESULT_OK;
long freed = Math.max(0, CacheCleaner.freeSpace(getContext()) - cacheBefore);
if (ok) CacheCleaner.record(getContext(), freed);
// ...
}, 900)
);
Та же кнопка есть на виджете рабочего стола: прозрачная Activity открывает системный диалог поверх лаунчера и закрывается.
|
Данные |
Где |
Почему там |
|---|---|---|
|
Оставленные файлы |
|
копия переживает переустановку |
|
Мешок |
|
приложение могут убить сразу после свайпа |
|
Настройки |
|
должны переживать обновления |
|
Статистика |
|
её читает виджет без WebView |
|
Счётчики эффектов |
|
потерять не страшно |
Про мешок я узнал на себе. Разобрал колоду, не заметил кнопку «Вынести» в углу, нажал «Назад» – и разобранное пропало. Теперь мешок сохраняется после каждого свайпа, файлы из мешка не возвращаются в колоды, а «Назад» с непустым мешком открывает лист «Вынести мусор» с вариантом «Ещё подумаю», который выходит и ничего не сбрасывает. commit() вместо apply() выбран сознательно: запись синхронная, и после ответа плагина данные уже на диске.
Копия списка в «Документах» нужна, чтобы оставленные файлы не вернулись после переустановки. Писать туда приложение может, только если включён «Доступ ко всем файлам» на Android 11+ или выдано разрешение на запись на Android 10.
Без разрешения INTERNET WebView не может сделать сетевой запрос. Но остаётся обходной путь: если в WebView каким-то образом выполнится чужой скрипт, он может перейти на https://site/?data= [4].... Capacitor откроет такую ссылку во внешнем браузере, а у браузера интернет есть. Это была потенциальная дыра в безопасности, и таких у меня было три.
Вот как я их закрыл:
Навигация разрешена только на свои страницы:
@Override
public boolean shouldOverrideUrlLoading(WebView view, WebResourceRequest request) {
Uri url = request.getUrl();
return !("https".equals(url.getScheme()) && "localhost".equals(url.getHost()));
}
Ссылка на Telegram-канал из приложения открывается отдельным нативным вызовом, а не навигацией WebView.
В собранный index.html Vite-плагин вставляет Content-Security-Policy: только свои скрипты, без inline и eval, ничего снаружи. В dev-режиме CSP не ставится: горячей перезагрузке Vite нужны inline-скрипты.
const CSP = [
"default-src 'self'",
"script-src 'self'",
"style-src 'self' 'unsafe-inline'",
"img-src 'self' data: blob:",
"media-src 'self' blob:",
"font-src 'self' data:",
"connect-src 'self'",
"object-src 'none'",
"frame-src 'none'",
"base-uri 'none'",
"form-action 'none'",
].join('; ');
const csp = (): Plugin => ({
name: 'csp-meta',
apply: 'build',
transformIndexHtml: (html) =>
html.replace('<meta charset="UTF-8" />', `<meta charset="UTF-8" />n <meta http-equiv="Content-Security-Policy" content="${CSP}" />`),
});
Проверял через DevTools на телефоне с allowUnsafeEvalBlockedByCSP: false: иначе консоль DevTools выполняет eval в обход политики, и проверка ничего не доказывает.
Третья находка – имя превью в кеше. Оно строилось из 32-битного hashCode() URI. При коллизии карточка показала бы превью одного файла, а свайп удалил бы другой. В жизни я такого не ловил, но цена ошибки [5] слишком высокая. Теперь ключ – SHA-256 от URI, размера и даты изменения, а старый кеш при запуске удаляется:
java.security.MessageDigest md = java.security.MessageDigest.getInstance("SHA-256");
byte[] digest = md.digest((uriStr + "|" + size + "|" + modified).getBytes(java.nio.charset.StandardCharsets.UTF_8));
StringBuilder hex = new StringBuilder();
for (int i = 0; i < 20; i++) hex.append(String.format(java.util.Locale.US, "%02x", digest[i]));
return hex + "-" + w + "x" + h + ".jpg";
Дата изменения в ключе заодно сбрасывает превью, если файл отредактировали.
Подписи на карточках шуточные и зависят от колоды. Открытке из WhatsApp достаётся что-то вроде «Доброе утро из 2026 года». Однажды эта подпись досталась фото могилы моей бабушки, которое прислали в WhatsApp.
Убирать шутки я не хотел. Требование получилось такое: если модель уверена, что на фото кладбище, похороны или больница, подпись нейтральная («Получено 19 ноября 2026.»), а анимация спокойная – карточка просто опускается и тает. Во всех остальных случаях, включая «модель не уверена» и «модель не успела», всё как обычно. Без интернета, прямо на телефоне.
Взял TinyCLIP ViT-8M/16 от Microsoft (лицензия MIT) и сделал zero-shot классификацию. Текстовая часть CLIP нужна только один раз: эмбеддинги промптов считаются на компьютере и кладутся в APK файлом prompts.f32 (44 промпта по 512 float). На телефоне работает только визуальный энкодер.
Промптов два списка. Девять «чувствительных»:
SENSITIVE = [
'a photo of a grave',
'a photo of a grave with a cross and flowers',
'a photo of a gravestone',
'a photo of a cemetery',
'a photo of a funeral',
'a photo of a coffin',
'a photo of a memorial with candles and wreaths',
'a photo of a patient in a hospital bed',
'a black and white portrait with a black mourning ribbon',
]
И 35 бытовых. Это не украшение: без них softmax некуда распределить вероятность, и открытка с розами и свечой уверенно становится «мемориалом». Поэтому в нейтральных есть именно похожие сцены: 'a greeting card with flowers', 'a birthday cake with candles', 'christmas decorations with candles', 'a photo of a church', 'a photo of a monument in a city'.
Оценка – доля вероятности, которая пришлась на чувствительные промпты:
session.run(input, output);
float[] e = output[0];
double norm = 0;
for (float v : e) norm += v * v;
norm = Math.sqrt(norm);
double[] logits = new double[prompts.length];
double max = -Double.MAX_VALUE;
for (int i = 0; i < prompts.length; i++) {
double dot = 0;
for (int j = 0; j < e.length; j++) dot += prompts[i][j] * e[j];
logits[i] = scale * dot / norm;
max = Math.max(max, logits[i]);
}
double sum = 0;
double sens = 0;
for (int i = 0; i < logits.length; i++) {
double p = Math.exp(logits[i] - max);
sum += p;
if (i < sensitiveCount) sens += p;
}
return (float) (sens / sum);
Эмбеддинги промптов уже нормированы на этапе экспорта, scale – это logit_scale.exp() самой модели (около 50). Порог – 0,6.
Набор для проверки: 15 чувствительных снимков и 46 бытовых, включая самое коварное, что нашлось в галерее, – открытки «Доброе утро» с цветами и свечами. Предобработка в Python повторяет Android-версию: центральный квадрат, билинейное сжатие до 224, нормализация CLIP.
|
Метрика |
Значение |
|---|---|
|
Поймано чувствительных |
12 из 15 |
|
Ложных срабатываний |
0 из 46 |
|
Самая высокая оценка у бытового фото |
0,43 (открытка с розами и свечой) |
|
Порог |
0,6 |
Три пропуска для меня нормальная цена: пропуск означает обычную шутку, как было до модели. Ложное срабатывание означало бы, что шутки пропадают у обычных фото, а это ломает концепцию приложения (ведь оно изначально развлекательное, ога).
Первая версия работала на ONNX Runtime. APK вырос с 12 до 77,5 МБ: библиотеки ORT под две архитектуры весят больше самой модели. Перешёл на LiteRT (com.google.ai [6].edge.litert:litert:1.4.2), модель сконвертировал из ONNX через onnx2tf.
Float32-модель весила 33 МБ. Штатная динамическая квантизация onnx2tf давала NaN на выходе, путь через конвертер TensorFlow падал. В итоге я написал свою квантизацию только весов: каждый большой константный тензор float32 заменяется на int8 с масштабом по выходному каналу, а перед графом добавляется операция DEQUANTIZE. Рантайм выполняет такие DEQUANTIZE над константами один раз при загрузке, поэтому сам расчёт остаётся во float32 и точность не страдает, а файл уменьшается почти в четыре раза.
Скрипт правит flatbuffer модели через сгенерированную схему TFLite:
for ti in range(len(sg.tensors)):
t = sg.tensors[ti]
if t.type != S.TensorType.FLOAT32 or ti in graph_inputs:
continue
b = model.buffers[t.buffer]
if b.data is None or len(b.data) < MIN_ELEMENTS * 4:
continue
w = np.frombuffer(bytes(bytearray(b.data)), dtype='<f4').reshape(list(t.shape))
q = S.TensorT()
q.name = (t.name or b'w') + b'_q8'
q.shape = list(t.shape)
axis_max = np.abs(w.reshape(w.shape[0], -1)).max(axis=1) if w.ndim > 1 else np.array([np.abs(w).max()])
scale = np.where(axis_max > 0, axis_max / 127.0, 1.0).astype(np.float32)
shaped = scale.reshape([-1] + [1] * (w.ndim - 1)) if w.ndim > 1 else scale
data = np.clip(np.round(w / shaped), -127, 127).astype(np.int8)
q.type = S.TensorType.INT8
qp = S.QuantizationParametersT()
qp.scale = scale.tolist()
qp.zeroPoint = [0] * len(scale)
qp.quantizedDimension = 0
q.quantization = qp
nb = S.BufferT()
nb.data = np.frombuffer(data.tobytes(), dtype=np.uint8)
model.buffers.append(nb)
q.buffer = len(model.buffers) - 1
sg.tensors.append(q)
# the float tensor is now produced at load time by DEQUANTIZE; drop its float data unless shared
old = t.buffer
t.buffer = 0
if not any(o.buffer == old for o in sg.tensors):
model.buffers[old].data = None
op = S.OperatorT()
op.opcodeIndex = deq
op.inputs = [len(sg.tensors) - 1]
op.outputs = [ti]
new_ops.append(op)
sg.operators = new_ops + list(sg.operators)
Первый прогон дал 41,8 МБ вместо ожидаемых девяти: я добавил int8-буферы, но забыл обнулить старые float-буферы. Отсюда блок t.buffer = 0 и проверка, что буфер больше никем не используется. После исправления модель весит 8,8 МБ. eval_tflite.py прогоняет на готовом .tflite тот же проверочный набор, что и для исходной модели.
|
Вариант |
Размер APK |
|---|---|
|
Без модели (1.0) |
12,2 МБ |
|
ONNX Runtime + float-модель |
77,5 МБ |
|
LiteRT + int8-веса (1.2 и дальше) |
28,3 МБ |
Библиотеки LiteRT добавляют около 7 МБ на две архитектуры. ABI ограничены arm64-v8a и armeabi-v7a: x86 нужен только эмулятору. В Play уходит AAB на 18,4 МБ, и каждый телефон получает только свою архитектуру.
Классификатор работает на одном фоновом потоке с низким приоритетом и двумя потоками LiteRT, чтобы на слабых телефонах ядра оставались интерфейсу. Результаты кешируются в LRU на 3000 записей.
private final ExecutorService worker = Executors.newSingleThreadExecutor((r) -> new Thread(() -> {
Process.setThreadPriority(Process.THREAD_PRIORITY_BACKGROUND);
r.run();
}, "sensitive-photos"));
Interpreter.Options options = new Interpreter.Options();
// two cores at most: weak phones keep the rest for the interface
options.setNumThreads(2);
session = new Interpreter(modelBuf, options);
|
Телефон |
Одно фото, включая превью |
Первое фото (с загрузкой модели) |
|---|---|---|
|
S25 Edge |
55–130 мс |
около 240 мс сверху |
|
Huawei Y8p |
около 450 мс |
около 900 мс |
Карточки рисуются заранее, на несколько штук вперёд, и проверка запускается параллельно с загрузкой превью. Лицо карточки ждёт ответа не больше 2,5 секунды. Не дождалось – рисуется обычная карточка, а поздний ответ «да» перерисовывает её, если она ещё в стопке:
const sure = verdict ? await Promise.race([verdict, wait(VERDICT_WAIT_MS).then(() => null)]) : false;
const face = drawFace(sure ? quietCard(f) : f, img, size.w, size.h, DPR);
if (sure === null && verdict) {
// a slow phone answered late: redraw the card if it is still in the stack
void verdict.then((late) => {
if (!late) return;
const plain = drawFace(quietCard(card), photo, cw, ch, DPR);
setFaces((prev) => (prev.has(card.id) ? new Map(prev).set(card.id, plain) : prev));
});
}
На Huawei Y8p APK не устанавливался с ошибкой разбора пакета. Причина банальная: minSdk 30. Опускать его до 29 было не просто: на Android 10 нет ни createTrashRequest, ни createDeleteRequest, ни IS_FAVORITE, ни ACTION_CLEAR_APP_CACHE.
Что получилось:
|
Возможность |
Android 11+ |
Android 10 |
|---|---|---|
|
Доступ к файлам |
|
|
|
Корзина |
системная, 30 дней |
своя папка, 30 дней |
|
Подтверждение удаления |
системный диалог |
лист в самом приложении |
|
Очистка кеша |
системный диалог |
скрыта |
|
Избранное галереи |
|
нет |
На Android 10 с legacy-доступом приложение может само перемещать файлы. Своя корзина – это папка Android/data/<пакет>/files/trash и index.json с исходными путями:
static synchronized int remove(Context c, List<Uri> uris, boolean permanent) {
purge(c);
ContentResolver resolver = c.getContentResolver();
JSONArray index = load(c);
int done = 0;
List<String> rescan = new ArrayList<>();
for (Uri uri : uris) {
String path = dataPath(resolver, uri);
if (path == null) continue;
File src = new File(path);
try {
if (permanent) {
if (src.exists() && !src.delete()) continue;
} else {
File dst = new File(dir(c), System.currentTimeMillis() + "_" + src.getName());
if (!move(src, dst)) continue;
JSONObject e = new JSONObject();
e.put("uri", uri.toString());
e.put("path", path);
e.put("file", dst.getName());
e.put("at", System.currentTimeMillis());
index.put(e);
}
// drop the gallery row; the file itself is already gone from its folder
try {
resolver.delete(uri, null, null);
} catch (Exception ignored) {
rescan.add(path);
}
done++;
} catch (Exception ignored) {
// this file stays in the gallery; the others go on
}
}
save(c, index);
if (!rescan.isEmpty()) MediaScannerConnection.scanFile(c, rescan.toArray(new String[0]), null, null);
return done;
}
Детали, которые всплыли при проверке:
move сначала пробует renameTo, а если файл на другом томе – копирует и удаляет;
index.json пишется через временный файл и переименование, чтобы не потерять индекс при падении;
восстановленный файл попадает в галерею через MediaScannerConnection и получает новый _ID – ещё один довод за ключ из пути и размера;
если на старом месте уже лежит файл с тем же именем, восстановленный получает префикс restored_;
просроченные файлы удаляются при каждом запуске плагина в отдельном потоке.
Перемещение в корзину, восстановление, удаление насовсем и очистку через 30 дней я проверил на Huawei. Старше Android 10 пока не поддерживаю.
Сборка – AAB, подписанный upload key. Что пришлось заполнить сверх обычного:
декларацию MANAGE_EXTERNAL_STORAGE: разрешение нужно для очистки кеша через ACTION_CLEAR_APP_CACHE, другого способа это сделать нет, остальное приложение работает и без него;
декларацию доступа к фото и видео: приложение разбирает всю галерею, системный выбор фото для этого не подходит;
Ну и стандартные:
Data safety: данные не собираются и не передаются, разрешения INTERNET нет;
политику конфиденциальности, она лежит на telegra.ph [7];
анкету возрастного рейтинга: получилось 3+.
Проверка версии с «Доступом ко всем файлам» заняла пару часов, без уточняющих вопросов. Думаю, помогло, что в декларации был назван конкретный системный API, которому это разрешение нужно. Одно предупреждение Play выдал всё же: приложение только портретное, поэтому недоступно планшетам. Исправил строкой <uses-feature android:name="android.hardware.screen.portrait" android:required="false"/>
Версию 1.4.2 Google одобрил. Я поставил её из магазина и свайпнул вправо, «оставить». Файл уехал в мешок. Свайпнул влево – тоже в мешок. Работало только «в избранное».
В 1.4.2 добавилась отметка «Избранное» в системной галерее. Вот что было в функции, которая фиксирует свайп, до правки:
if (action !== 'trash') void JunkStore.updateKept({ add: [key] }).then(applyKept);
else {
// into the bag, saved right away
updateBag((k) => (k.includes(key) ? k : [...k, key]));
if (live.current.deckId === APPROVED_ID) void JunkStore.updateKept({ remove: [key] }).then(applyKept);
}
if без фигурных скобок в одну строку, а else с блоком на следующей. Читается нормально, пока между ними ничего нет. Вот что стало после:
if (action !== 'trash') void JunkStore.updateKept({ add: [key] }).then(applyKept);
if (action === 'fav' && file.uri) void JunkStore.setFavorite({ uris: [file.uri], value: true });
else {
updateBag((k) => (k.includes(key) ? k : [...k, key]));
if (live.current.deckId === APPROVED_ID) void JunkStore.updateKept({ remove: [key] }).then(applyKept);
}
Новая строка встала между if и его else, и else теперь относился к action === 'fav'. «Оставить» попадало и в список оставленных, и в мешок. TypeScript и сборка ничего не заметили: код корректен, он просто делает не то. ESLint с правилом curly поймал бы это на этапе сборки, но линтера в проекте нет.
Исправление в 1.4.3 – явная развилка на два случая со скобками и миграция для тех, кто успел поставить 1.4.2. Мешок при загрузке очищается от файлов, которые есть в списке оставленных:
if (action === 'trash') {
updateBag((k) => (k.includes(key) ? k : [...k, key]));
if (live.current.deckId === APPROVED_ID) void JunkStore.updateKept({ remove: [key] }).then(applyKept);
} else {
void JunkStore.updateKept({ add: [key] }).then(applyKept);
if (action === 'fav' && file.uri) void JunkStore.setFavorite({ uris: [file.uri], value: true }).catch(() => undefined);
}
const { keys: stored } = await JunkStore.getBag();
const approved = new Set((await JunkStore.getKept()).keys);
const keys = stored.filter((k) => !approved.has(k));
if (keys.length !== stored.length) void JunkStore.setBag({ keys });
Миграция работает потому, что 1.4.2 записывала «оставить» в оба места. Пока пользователь не вынес мешок, ничего не потеряно.
Что я поменял в процессе:
исправленную версию сначала выложил во внутреннее тестирование Play и проверил именно то, что ставится из магазина, с подписью Google, а потом отправил на проверку;
после любой правки фиксации свайпа проверяю «оставить» и «удалить» на нативной сборке, даже если правил только третью ветку;
поздно ночью в прод не отправляю))
Чаще всего спрашивают версию для айфона. Интерфейс, эффекты и колоды переносятся почти как есть: это веб. Переписывать нужно плагин, и часть функций iOS просто не даст сделать.
|
Android |
iOS |
|---|---|
|
MediaStore, пути |
PhotoKit, путей нет: колоды WhatsApp и Telegram придётся определять иначе или убрать |
|
|
|
|
Удалить насовсем, вернуть из корзины |
нет: «Недавно удалённые» управляются только из «Фото» |
|
|
аналога нет |
|
|
|
|
LiteRT |
LiteRT для iOS или Core ML |
Плюс Mac для сборки, айфон для тестов и $99 в год за аккаунт разработчика. Из трёх пунктов у меня есть только один, поэтому версия для iOS если и будет, то нескоро.
|
Что |
Значение |
|---|---|
|
Эффектов удаления и сохранения |
10 и 5 |
|
APK без модели / с моделью |
12,2 / 28,3 МБ |
|
AAB в Play |
18,4 МБ |
|
Модель на диске |
8,8 МБ (int8-веса), было 33 МБ |
|
Проверка фото на S25 / Huawei |
55–130 / ~450 мс |
|
Качество проверки |
12 из 15 найдено, 0 из 46 ложных |
|
Минимальная версия Android |
10 |
|
Время проверки в Google Play с |
пара часов |
|
|
11 |
Приложение в Google Play: Свайпомойка [8] – бесплатно, без регистрации и смс.
Про другие свои проекты пишу в Telegram-канале «Это Барулин сделал» [9]
Автор: Asadflow
Источник [10]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/38901
URLs in this post:
[1] память: http://www.braintools.ru/article/4140
[2] https://localhost/_media_/video/<id>: https://localhost/_media_/video/<id>
[3] поведение: http://www.braintools.ru/article/9372
[4] https://site/?data=: https://site/?data=
[5] ошибки: http://www.braintools.ru/article/4192
[6] com.google.ai: http://com.google.ai
[7] telegra.ph: http://telegra.ph
[8] Свайпомойка: https://play.google.com/store/apps/details?id=ru.barulin.musorswipe
[9] «Это Барулин сделал»: https://t.me/barulin_sdelal
[10] Источник: https://habr.com/ru/articles/1110534/?utm_campaign=1110534&utm_source=habrahabr&utm_medium=rss
Нажмите здесь для печати.