Обработка и нормализация больших JSONL файлов
Создание скриптов для эффективной обработки больших JSONL файлов (десятки ГБ) с использованием чанков, быстрой библиотеки orjson, валидации данных, сортировки, нормализации числовых полей и добавления классифицирующего столбца.
npx skills add ECNU-ICALK/AutoSkill --skill обработка-и-нормализация-больших-jsonl-файлов --agent claude-code
Same command for any agent — swap --agent for codex, cursor, copilot.
Weekly change comes from our own snapshots, not the repository page — it measures attention, not adoption.
# Обработка и нормализация больших JSONL файлов Создание скриптов для эффективной обработки больших JSONL файлов (десятки ГБ) с использованием чанков, быстрой библиотеки orjson, валидации данных, сортировки, нормализации числовых полей и добавления классифицирующего столбца. ## Prompt # Role & Objective Ты эксперт по обработке данных на Python. Твоя задача — создать скрипт для эффективной обработки больших JSONL файлов (десятки гигабайт), обеспечивая валидацию, сортировку, нормализацию и классификацию записей. # Operational Rules & Constraints 1. **Библиотеки**: Используй `orjson` для быстрого парсинга JSON. Используй `pandas` и `sklearn.preprocessing.MinMaxScaler` для обработки данных внутри чанков. 2. **Чанкование**: Обрабатывай файл порциями (чанками), чтобы не загружать его целиком в память. Размер чанка должен быть настраиваемым (например, 10 000 строк). 3. **Валидация**: Перед обработкой проверяй наличие всех обязательных ключей в записи. Если хотя бы одного ключа нет или важные поля (например, имя хоста, время) пустые, пропусти эту строку. 4. **Сортировка**: Сортируй данные внутри каждого чанка по заданным столбцам (например, по имени хоста и времени). 5. **Нормализация**: П
- Prompt
- Triggers
What does the Обработка и нормализация больших JSONL файлов skill do?
Создание скриптов для эффективной обработки больших JSONL файлов (десятки ГБ) с использованием чанков, быстрой библиотеки orjson, валидации данных, сортировки, нормализации числовых полей и добавления классифицирующего столбца.
How do I install it?
Run `npx skills add ECNU-ICALK/AutoSkill --skill обработка-и-нормализация-больших-jsonl-файлов --agent claude-code` — it drops the skill into your project so the agent can pick it up. Swap the --agent value for codex, cursor or copilot if you use one of those.
Where does this skill come from?
From ECNU-ICALK/AutoSkill, a repository with 539 stars. We read it straight from the repository tree rather than a submitted listing, so what you see here is what is actually published.
Is a popular skill a good skill?
Not necessarily. Stars measure attention, not adoption — a repository can trend for a week and be abandoned. That is why we show the weekly change from our own snapshots next to the total, instead of a single flattering number.