Оценка качества перевода

1. Оценка качества перевода

Поверил я алгеброй гармонию…
Л.А. Горохова, ПГЛУ

2. Стандарты качества перевода

Международные стандарты качества перевода
• ISO 12616 Standard - Международная организация по
стандартизации
• UNI 10574 Standard - Италия
• Önorm D 1200 Standard, Önorm D 1201 Standard - Австрия
• DIN 2345 Standard - Германия
• Taalmerk – Нидерланды
• EN-15038 – общеевропейский стандарт (Европейский комитет
по стандартизации, 2006)
• ASTM F2575-06 Standard Guide for Quality Assurance in
Translation – американский стандарт
Стандарты качества перевода

3. Стандарты качества перевода

Международные стандарты качества перевода
EN-15038 – общеевропейский стандарт (Европейский комитет по
стандартизации, 2006)
EN-15038 состоит из следующих разделов:
Область действия: основания для разработки данного стандарта.
Терминология: определения терминов, используемых в тексте стандарта.
Основные требования: инфраструктура (человеческие и технические
ресурсы), качество оказания услуги, планирование и руководство проектом.
Взаимодействие между заказчиком и переводчиком: определение
расценок, заключение контракта, права и обязательства и т.п.
Процесс оказания переводческих услуг: административный, технический и
лингвистический аспект; процесс перевода; редактирование и т.п.
Дополнительные услуги: локализация, верстка, создание баз данных в ТМсистемах, составление глоссариев и т.п.
Приложения: Эти документы носят информационный, а не нормативный
характер. Они содержат рекомендации по приведению перевода в
соответствие со стандартом.
Текст стандарта
Стандарты качества перевода

4. Стандарты качества перевода

Международные стандарты качества перевода
Professional competences of translators
Translators shall have at least the following competences
a) Translating competence.
Translating competence comprises the ability to translate texts to the required level, i.e. in
accordance with 5.4. It includes the ability to assess the problems of text comprehension and text
production as well as the ability to render the target text in accordance with the client-TSP
agreement (see 4.4) and to justify the results.
b) Linguistic and textual competence in the source language and the target language:
Linguistic and textual competence includes the ability to understand the source language and
mastery of the target language. Textual competence requires knowledge of text type conventions
for as wide a range of standard-language and specialised texts as possible, and includes the
ability to apply this knowledge when producing texts.
c) Research competence, information acquisition and processing: Research competence
includes the ability to efficiently acquire the additional linguistic and specialised knowledge
necessary to understand the source text and to produce the target text. Research competence
also requires experience in the use of research tools and the ability to develop suitable strategies
for the efficient use of the information sources available.
d) Cultural competence: Cultural competence includes the ability to make use of information on
the locale, behavioural standards and value systems that characterise the source and target
cultures.
e) Technical competence: Technical competence comprises the ability and skills required for the
professional preparation and production of translations. This includes the ability to operate
technical resources as defined in 3.3.
Текст стандарта
Стандарты качества перевода

5. Стандарты качества перевода

Международные стандарты качества перевода
The above competences should be acquired through one or
more of the following:
— formal higher education in translation (recognised
degree);
— equivalent qualification in any other subject plus a
minimum of two years of documented experience in
translating;
— at least five years of documented professional experience
in translating.
Стандарты качества перевода
Текст стандарта

6. Стандарты качества перевода

Международные стандарты качества перевода
Quality criteria rated as “(highly) important” by 47 AIIC members (Buhler 1986)
AIIC - The Assembly of
the International
Association of
Conference Interpreters
Стандарты качества перевода

7.

Международные стандарты качества перевода
Quality criteria ratings (% “highly important”) by three user groups (cf. Kurz 1993)
MD - medical conference, Eng. - a meeting of engineers on quality control,
CE - a Council of Europe meeting on equivalences

8. Стандарты качества перевода

Международные стандарты качества перевода
Данные опроса потенциальных пользователей перевода (Курц, 1989)
Критерии
Верная передача содержания
оригинального текста
Логичность и связность текста
перевода
Правильность терминологии
Полнота передачи информации
Беглость речи
Соблюдение
грамматических
норм
Хорошее
произношение
(отсутствие
иностранного
акцента)
Приятный голос
Переводчики % Клиенты
%
(по
данным (по
данным
Х. Бюлер)
И. Курц)
96
81
83
72
49
45
47
36
49
28
48
11
23
11
28
17
Kurz I. Conference Interpreting User Expectations [Text] / I. Kurz // Coming of Age. Proceedings of the
30th Conference of the A.T.A. - Medford, N.J.: Learned Information Inc., 1989. – Pp. 143-148.
Стандарты качества перевода

9. Стандарты качества перевода

Международные стандарты качества перевода
TQA – Translation Quality Assessment – оценка качества перевода
Системы количественной оценки перевода:
• подсчет ошибок
• выставление рейтинговой оценки ( ‘deliverable to client’ vs ‘worth
revising’ vs ‘unusable’)
Системы, не предусматривающие количественной оценки перевода
(Райс, Норд, Хауз, Лароуз и др.):
• учет ошибок на уровне дискурса
• определение степени серьезности ошибки в зависимости от
уровня макроструктуры, на который эта ошибка оказывает
влияние
Аргументативная система оценки перевода (Уильямс):
• анализ компонентов логической структуры текста в оригинале и
в переводе
Стандарты качества перевода

10. Критерии оценки качества перевода

Sical (Канадское федеральное бюро переводов)
Недостатки:
•Анализ на уровне слов
•Не учитывается уровень предложения
•Не учитывается уровень текста в целом
•Слишком много типов ошибок (675)
ATA (American Translators Association - Американская ассоциация переводчиков)
•22 типа ошибок (терминология, регистр, стиль и др.)
•16-балльная шкала оценки ошибок
Недостатки:
•Недостаточно объективная оценка
•Отсутствуют четкие правила оценки ошибок – когда начислять за ошибку 1 балл, а когда
– 16 баллов
•Ошибки не классифицируются по группам и подгруппам, что усложняет работу эксперта
SAE J2450 (Society of Automotive Engineers)
•7 типов ошибок
•Система условных сокращений
•Подсчет рейтинга в диапазоне от минимума до максимума
Недостатки:
•Оценивает главным образом терминологические ошибки
•Не учитывает стилистические, синтаксические, орфографические ошибки
•Нет порогового значения рейтинга для приемлемого/ неприемлемого перевода
Критерии оценки качества перевода

11. Критерии оценки качества перевода

Параметры оценки письменного перевода (Амер. ассоциация переводчиков)
Ответ «да» на следующие вопросы указывает на то, что ошибка скорее может
квалифицироваться как серьезная/ грубая (Е), чем незначительная (е):
•Смысл высказывания значительно изменен?
•Читателю приходится обращаться к исходному тексту, чтобы понять значение
высказывания?
•Нормы словоупотребления значительно нарушены? (Используемый язык неприемлем для
данного вида коммуникации, или стиль настолько не соответствует теме текста (экономика,
юриспруденция, техника и т.п.), что отрывок не пригоден для дальнейшего использования.
Постоянное повторение грамматических ошибок, пунктуационные и орфографические ошибки,
неправильное употребление заглавных букв, или неестественные синтаксические структуры на
протяжении всего отрывка могут рассматриваться как одна «глобальная» грубая ошибка в
соответствующей категории (грамматика, пунктуация, орфография, синтаксис).
Перевод отрывка оценивается как неудовлетворительный, если перевод содержит:
•2 или более грубые ошибки, или
•1 грубая ошибка и 7 незначительных ошибок, или
Бланки
Параметры
•20 или более незначительных ошибок.
оценки
оценки
Критерии оценки качества перевода

12. Критерии оценки качества перевода

Оценка качества перевода в вузах:
Контролирующая
обучающая
Цели разработки критериев:
Соблюдение прав студента
Объективность оценки
Воссоздание реальной профессиональной ситуации
University of Madrid:
accuracy of transfer of ST content
quality of expression in TL
University of Leeds:
6 parameters
comprehension and accuracy of rendering ST meaning;
command on subject matter and specialised terminology;
production of appropriate piece of discourse in the TL;
accuracy of the TL grammar, spelling and punctuation;
appropriate and accurate presentation of a text;
user-defined
Критерии оценки качества перевода

13.

“The difference between the right word and the almost right word is
the difference between lightning and a lightning bug” (Mark Twain).
‘Quality-Speed-Cost Triangle’

14.

A more flexible approach
In the digital era, the way that people consume content has changed, and
with this so has the type and frequency of content production.
Digital content that will only exist for a month may not need the same level
of translation quality as a printed brochure, for example.
Common Sense Advisory (CSA Research): “one-size fits all quality
models are insufficient to meet the variety of needs companies face today.
A flexible model will allow you to tune processes without having to
retool them every time.”
Attila Görög, Director of Business Development at TAUS:“ There are now
ways to provide different levels of quality.
Before, 20 to 25 years ago when these technologies weren’t available yet,
translators were given a source file and translated it to a very high quality.
So there was basically one quality level, the human translation quality.
Nowadays with new technology, new translation workflows and budgetary
restrictions on the buyer’s side, translators can be required to deliver
lower levels of quality. So I believe that the difference in the level of
quality that is now required is something which will determine the way we
evaluate quality.”
http://blog.sdltrados.com/how-translation-quality-assessment-is-changing/

15.

Maintaining quality through people and technology:
People
Maintaining a translator network not only implies paying suppliers
a fair price, but also building a business relationship, such as offering
training options as well as professional feedback and material.
This is the only way to achieve, maintain and develop quality in the
long run. A network is a living thing; it’s a valuable asset and needs
to be nurtured.
Technology
The continued maintenance of translation memories (TM) and
terminology is key to preserving quality, but it is not an easy task
and requires clear planning from the beginning.
If a TM does not match the quality standard and is not 100%
reliable, it is a useless asset. Note that often it can be more efficient
to rebuild a TM from scratch than to try to clean it up.
http://www.sdltrados.com/download/the-pursuit-of-perfection-in-translation/99851/ The Pursuit of
Perfection in Translation

16.

• Two fundamental principles of any quality improvement
process:
1. Fit for purpose – translations should be suitable for the intended purpose
and target audience.
2. Right first time – mistakes should be eliminated, ideally by using realtime quality assurance checks within translation tools, to help a translator
spot errors as they happen.
Translation quality is primarily a matter of perception. It starts with the
inherent quality of the source text and the 3 key questions we
should ask of it:
1. What’s the general intention of the source text and what does the
client want to achieve with it?
2. What’s the style of the text and how does the message come across?
3. Who is the target audience the text is intended for?’
It is possible to set quality standards at different levels dependent on the
client’s needs and how they intend to use the translated text.’
http://www.sdltrados.com/download/the-pursuit-of-perfection-in-translation/99851/ The Pursuit of
Perfection in Translation

17.

Quality depends on both objective and subjective criteria.
Objective criteria include:
• The translation is complete: nothing is missing in terms of content, form or
layout
• The translation is correct: in terms of language use, spelling and grammar
• The translation has consistency: in terms of the terminology used
throughout the document being translated and also matches the client’s
previously translated materials
• The translation respects the target language structure and is not simply
a literal reproduction of the source language structure
Subjective criteria include:
• Meaning: is the overall meaning of the source text reflected in the target
text?
• Style: does the style of the target text replicate that of the source text?
• Fluency: does the translation read like it was written in the target language
in the first place?
The ‘Four-Eyes’ principle: in all cases, for quality to be achieved, a translation must be
reviewed by another person who will check the translation against the original.
http://www.sdltrados.com/download/the-pursuit-of-perfection-in-translation/99851/ The Pursuit of
Perfection in Translation

18.

http://www.sdltrados.com/download/the-pursuit-of-perfection-in-translation/99851/ The Pursuit of
Perfection in Translation

19.

SDL Trados Studio 2015: Translation Quality Assessment (TQA)
Two-stage quality control:
1. Quality assurance
Covers the ‘objective’ quality tools ranging from the AutoCorrect feature and
grammar checker to verifying that the right glossary or terms are being used.
2. Translation quality
This provides many more features to enable you to score a translation on the
‘subjective’ factors, provide feedback up and downstream, categorize the
level of any errors and define a translation as a pass or fail based upon
them.
http://www.sdltrados.com/download/the-pursuit-of-perfection-in-translation/99851/ The Pursuit of
Perfection in Translation

20.

TQA enables users to:
http://www.sdltrados.com/download/the-pursuit-of-perfection-in-translation/99851/ The Pursuit of
Perfection in Translation

21.

Built-in industry linguistic model templates:
http://www.sdltrados.com/download/the-pursuit-of-perfection-in-translation/99851/ The Pursuit of
Perfection in Translation

22.

Why an objective quality process is needed
• Translators want to see what errors were highlighted and
commented on in their work, to enable them to comment on or
correct them, or disagree with the reviewer.
• Reviewers want to have a consistent model to enable them to
rate translations and translators.
• Language Service Providers want to measure the quality of
translators against other suppliers, improve their output and
establish company-specific translation guidelines to evaluate the
translators on how well they follow these.
• Corporate language departments want to categorize types of
errors within their translations and build a model that allows
them to measure the specific error types and their severity.
• Content owners want to compare the price-quality ratio of
vendors to measure their return on investment and improve the
quality of their translations by providing the most constructive
feedback.
http://www.sdltrados.com/download/the-pursuit-of-perfection-in-translation/99851/ The Pursuit of
Perfection in Translation

23.

Критерии оценки качества перевода
Р. Роте-Невес (R. Rothe-Neves):
опросник, созданный на основе критериев оценки письменных работ, а также
наиболее типичных требований к переводу, предъявляемых заказчиками:
Является ли текст удобочитаемым?
Соблюдены ли грамматические нормы языка перевода?
Имеются ли орфографические ошибки?
Имеются ли в тексте перевода нарушения логики?
Верна ли используемая терминология?
Соблюдается ли единство терминологии на всем протяжении текста перевода?
Соответствует ли текст перевода задаче, поставленной заказчиком?
Соответствует ли оформление текста общепринятым стандартам?
Соответствуют ли стилевые характеристики текста перевода нормам,
общепринятым для текстов подобного типа?
Можно ли назвать данный перевод удовлетворительным?
Эксперты определяют релевантность каждого вопроса для анализируемой ситуации, а
затем выставляют оценку по каждому вопросу, признанному релевантным, по 5балльной шкале Ликерта (1 = «совсем нет»; 2 = «незначительно»; 3 = «частично»; 4
= «в значительной степени»; 5 = «полностью»).
Rothe-Neves R. Translation Quality Assessment for Research Purposes: an Empirical Approach [Text] / R. Rothe-Neves //
Cadernos de Tradução. - Vol 2, №10, 2002. – Pp. 113-131. - http://www.cadernos.ufsc.br/ download/10/doc/RuiCadernos10.doc

24. Критерии оценки качества перевода

Ю. Новиков:
Объективные критерии оценки качества перевода:
• сохранение общего стиля оригинала;
• адекватная передача на языке перевода как содержания оригинала в
целом, так и содержания отдельных разделов и фраз;
• отсутствие пропусков, искажений смысла и переводческих ошибок;
• сохранение форматирования и разметки оригинала;
• учет дополнительных пожеланий заказчика по переводу отдельных
терминов, оформлению перевода и т.д.
Но в то же время при общей оценке качества выполненного перевода нередко
превалируют именно субъективные критерии:
• личное знание или незнание данного переводчика и соответственно
доверие или недоверие к нему;
• общее отношение заказчика к переводчикам вообще, которое может
колебаться от пренебрежительно предвзятого до восторженно
уважительного;
• упрямое требование заказчика, чтобы тот или иной термин переводился
именно так и не иначе;
• завышенные требования к внешнему оформлению перевода и т.д.
Критерии оценки качества перевода

25. Критерии оценки качества перевода

Типичные ошибки переводчика-филолога и переводчика-«технаря»
Понимание исходного иностранного текста:
Переводчик-филолог – 95-100%
«Технарь» со знанием языка – 50-70%
Способ формирования текста перевода:
Переводчик-филолог – пофразовый (иногда пословный) перевод «близко к тексту»
«Технарь» со знанием языка – угадывание не до конца понятого содержания текста и
дописывание «из головы», что может привести к очень большим смысловым искажениям
Перевод средних по сложности и широко распространенных терминов:
Переводчик-филолог – как правило, верно: «из головы» или по словарям
«Технарь» со знанием языка – точное угадывание именно того термина, который употребляют
специалисты
Перевод сложных и редких терминов:
Переводчик-филолог – возможен не совсем точный, но понятный специалисту перевод
«Технарь» со знанием языка – диапазон от верно угаданного термина до перевода с точностью
«до наоборот» из-за непонимания структуры иностранного слова
Пользование словарями:
Переводчик-филолог – уверенное пользование словарями, но некоторые затруднения с
выбором из нескольких вариантов одного правильного
«Технарь» со знанием языка – неуверенность в работе со словарем, отбрасывание заведомо
неверных вариантов перевода термина из своей области, но в то же время порой полная
беспомощность и неумение понять и соответственно правильно перевести элементарное,
где на самом деле нет никаких терминов
Критерии оценки качества перевода

26. Критерии оценки качества перевода

И.С. Шалыт – директор инженерной переводческой издательской компании «Интент»
10 требований к переводу ВЫСОКОГО качества:
1. Переводной текст должен быть адекватным исходному тексту, т.е. верно передавать
смысл, в том числе содержащийся и в достаточно явном подтексте.
2. Переводной текст должен быть изложен ясно, доходчиво и по возможности кратко.
3. В переводном тексте должны быть устранены все замеченные случаи
невразумительного и нелогичного изложения, а также ошибки исходного документа.
4. При изложении переводного текста должны обязательно использоваться стандартные
словесные формулы, употребляемые в конкретной области знаний.
5. Переводной текст должен быть свободен от стилистических дефектов текста
(смещения логического ударения, расщепленного сказуемого, тавтологии и т.п.).
6. По стилю изложения переводной текст должен соответствовать жанровым
особенностям документа (т.е. соответствовать стилю инструкции, или нормативного
документа, или рекламного проспекта, или научной статьи и т. д.).
7. Применяемая терминология должна соответствовать ГОСТам. СНиПам. ПУЭ и иным
российским нормативным документам, сложившейся практике применения и. при
необходимости, согласована с Заказчиком.
8. В переводном тексте должно быть соблюдено единство терминологии.
9. В переводном тексте не должно быть пропусков, опечаток, орфографических и
синтаксических ошибок.
10. В переводном тексте должны быть соблюдены правила редакционно-издательского
оформления.
Критерии оценки качества перевода

27. Критерии оценки качества перевода

«Межведомственный круглый стол по проблемам языка» (Interagency Language
Roundtable):
уровни мастерства устного и письменного переводчика в зависимости от качества
выполняемых им переводов
Уровни от 3 до 5 - уровни профессионального выполнения перевода.
На более низких уровнях перевод квалифицируется как непрофессиональный.
5 уровень профессионального выполнения письменного перевода:
Может успешно перевести практически любой текст, в том числе те тексты, которые, в силу
отсутствия лингвистических и культурных параллелей между ИЯ и ПЯ, требуют верного
выбора переводческой стратегии для обеспечения гармоничности перевода, а также умения
применять приемы и методы перевода. Язык перевода безупречен. На этом уровне
переводчик является специалистом высокого класса в нескольких тематических областях и
признается мастером высококлассного перевода компетентными экспертами. Тем не менее,
не исключается внешний контроль качества перевода.
3 уровень профессионального выполнения письменного перевода:
Может переводить тексты, содержащие не только факты, но и отвлеченные понятия,
демонстрируя развивающуюся способность распознавать подтекст и значительную часть
нюансов ИТ. Подобные тексты обычно содержат описание ситуаций и событий, которые
получают личную или официальную оценку, например, передовые статьи в газетах,
агитационные материалы, экспертные оценки проектов. Переводчик владеет терминологией и
языковыми средствами, характерными для данной тематики, в достаточной степени, чтобы
успешно работать в этой тематической области. Выбор слов и оборотов речи в основном
соответствует нормам ПЯ и редко затрудняет понимание. Результатом является черновой
перевод, качество которого нуждается в проверке.
Критерии оценки качества перевода
Уровни